ROC-curve

Voorbeeld van een ROC-curve.

Voorbeeld van een ROC-curve

In de signaaldetectietheorie is een ROC-curve (Engels: receiver operating characteristic (ROC)) een grafiek van de gevoeligheid (sensitiviteit) in functie van de aspecificiteit (1 - specificiteit) voor een binaire classifier als zijn discriminatiedrempel wordt gevarieerd. De ROC kan ook worden weergegeven door de fractie van true positives (TPR = true positive rate) uit te zetten tegen de fractie van fout-positieven (FPR = false positive rate). De ROC-curve staat ook bekend als de Relative Operating Characteristic curve, omdat twee operating characteristics (TPR & FPR) worden vergeleken terwijl het criterium (de drempel) verandert.

Met ROC-analyse kunnen optimale modellen worden uitgekozen en minder goede verworpen onafhankelijk van de kosten of de klasseverdeling. ROC-analyse kan gebruikt worden voor kosten/baten-analyse bij diagnostische besliskunde. De ROC-curve werd oorspronkelijk ontwikkeld door elektrotechnici en radartechnici in de Tweede Wereldoorlog om vijandelijke objecten te onderscheiden. Het vakgebied heet ook wel signaaldetectietheorie. Tegenwoordig wordt ROC-analyse al tientallen jaren toegepast in de geneeskunde, radiologie, psychologie en andere gebieden. Sinds kort wordt het ook gebruikt bij machine learning en data mining.

Terminologie en afleidingen

In een voorspellingsprobleem met twee klassen (binaire klassificatie) zijn de uitslagen positief (p) of negatief (n). Een binaire classifier geeft vier resultaten. Als de uitslag p en de echte waarde is ook p, hebben we een echt-positief (true positive, TP). Maar als de echte waarde n is hebben we een fout-positief (false positive, FP). Omgekeerd is een echt-negatief (true negative, TN) als zowel de uitslag als de echte waarde n zijn en een fout-negatief (false negative, FN) als de uitslag n maar de echte waarde p is.

Naam	Verklaring	Formule
Echt-positief (true positive, TP)	treffer	$TP$
Echt-negatief (true negative, TN)	terechte verwerping	$TN$
Fout-positief (false positive, FP)	vals alarm, Type I fout	$FP$
Fout-negatief (false negative, FN)	gemist geval, Type II fout	$FN$
Totaal positieve uitslagen P	som van echt-positieve en vals-negatieve uitslagen	$P = TP + FN$
Totaal negatieve uitslagen N	som van echt-negatieve en vals-positieve uitslagen	$N = TN + FP$
True positive rate (TPR)	trefkans, recall, sensitiviteit	$TPR = TP / P = TP / (TP+FN)$
False positive rate (FPR)	gelijk aan kans op vals alarm, fall-out	$FPR = FP / N = FP / (FP + TN)$
Nauwkeurigheid (ACC)	aandeel juiste uitslagen	$ACC = (TP + TN) / (P + N)$
Specificiteit (SPC) of True Negative Rate		$SPC = TN / N = TN / (FP + TN) = 1 - FPR$
Positive predictive value (PPV)	gelijk aan precisie	$PPV = TP / (TP + FP)$
Negative predictive value (NPV)	kans op echt-negatieve uitslag	$NPV = TN / (TN + FN)$
False discovery rate (FDR)	kans op vals alarm	$FDR = FP / (FP + TP)$
Matthews correlatie coefficient (MCC)		$MCC = \frac{ TP \times TN - FP \times FN } {\sqrt{ (TP + FP) ( TP + FN ) ( TN + FP ) ( TN + FN )} }$ Voorbeeld Als voorbeeld nemen we een medische test om te bepalen of iemand een bepaalde ziekte heeft. Een fout-positief is als de test positief uitvalt, maar de persoon niet ziek is. Een fout-negatief doet zich voor als de persoon een negatieve uitslag krijgt, terwijl de ziekte toch aanwezig is. We bekijken een proef met P positieve en N negatieve gevallen. De vier uitkomsten kunnen in een 2×2 contingency table of confusion matrix, weergegeven worden:   echte waarde   p n totaal Voorspelling resultaat p' True Positive False Positive P' n' False Negative True Negative N' total P N Zie ook Sensitiviteit en specificiteit Signaaldetectietheorie Bronnen, noten en/of referenties