ROC-curve

Voorbeeld van een ROC-curve.

In de signaaldetectietheorie is een ROC-curve (Engels: receiver operating characteristic (ROC) een grafiek van de gevoeligheid (sensitiviteit) tegen (1 - specificiteit) voor een binaire classifier als zijn discriminatiedrempel wordt gevarieerd. De ROC kan ook worden weergegeven door de fractie van true positives (TPR = true positive rate) uit te zetten tegen de fractie van fout-positieven (FPR = false positive rate). De ROC-curve staat ook bekend als de Relative Operating Characteristic curve, omdat twee operating characteristics (TPR & FPR) worden vergeleken terwijl het criterium (drempel) verandert.

Met ROC-analyse kunnen optimale modellen gekozen worden en minder goede worden verworpen onafhankelijk van de kosten of de klasseverdeling. ROC-analysis kan gebruikt worden bij kosten/baten-analyse bij diagnostische besliskunde. De ROC-curve werd oorspronkelijk ontwikkeld door elektrotechnici en radartechnici in de Tweede Wereldoorlog om vijandelijke objecten op slagvelden te onderscheiden. Het vakgebied heet ook wel signaaldetectietheorie. Tegenwoordig wordt ROC-analyse al tientallen jaren toegepast in de geneeskunde, radiologie, psychologie en andere gebieden. Sinds kort wordt het ook gebruikt bij machine learning en data mining.

Idee

Terminologie en afleidingen

true positive (TP) treffer true negative (TN) terechte verwerping false positive (FP) vals alarm, Type I error false negative (FN) gemist geval, Type II error true positive rate (TPR) trefkans, recall, sensitivity $TPR=TP/P=TP/(TP+FN)$ false positive rate (FPR) eqv. with false alarm rate, fall-out $FPR=FP/N=FP/(FP+TN)$ anuwkeurigheid (ACC) $ACC=(TP+TN)/(P+N)$ specificity (SPC) or True Negative Rate $SPC=TN/N=TN/(FP+TN)=1-FPR$ positive predictive value (PPV) eqv. with precision $PPV=TP/(TP+FP)$ negative predictive value (NPV) $NPV=TN/(TN+FN)$ false discovery rate (FDR) $FDR=FP/(FP+TP)$ Matthews correlatie coefficient (MCC) ${\mbox{MCC}}=({\mbox{TP}}\;{\mbox{TN}}-{\mbox{FP}}\;{\mbox{FN}})/{\sqrt {PNP'N'}}$ Source: Fawcett (2004).

Type I en type II errors

Zie ook

• [[Sensitiviteit en specificiteit
• Signaaldetectietheorie