Simpsons paradox

Simpson's paradox: er is een positieve trend voor twee afzonderlijke groepen (blauw en rood), maar er verschijnt een negatieve trend (zwart, gestippeld) als de data wordt gecombineerd.

Simpsons paradox is een paradox uit de statistiek, genoemd naar de statisticus E. H. Simpson, die in 1951 daar voor het eerst over publiceerde. De paradox kan het beste gedemonstreerd worden met een voorbeeld.

In twee ziekenhuizen, een academisch (AZ) en een plaatselijk ziekenhuis (PZ) worden operaties verricht. De meeste van deze operaties zijn succesvol (+), maar in sommige gevallen is er niet het gewenste effect (–). In de volgende tabel staan de aantallen operaties van het vorige kalenderjaar uitgesplitst.

ziekenhuis	+	–	totaal
AZ	2110	90	2200
PZ	677	23	700
totaal	2787	113	2900

We zijn nu geneigd te concluderen dat het PZ een betere score heeft dan het AZ, immers de fracties succes bedragen voor

AZ:     $\scriptstyle \frac{2110}{2200} = 0{,}959$

PZ:      $\scriptstyle \frac{ 677}{ 700} = 0{,}967$

Maar is die conclusie wel terecht? We maken nog een onderscheid tussen lichte (L) en zware (Z) operaties. Bekend is namelijk dat het AZ meer met zware, meer risicovolle operaties geconfronteerd wordt dan het PZ.

Voor de lichte operaties zijn de aantallen:

ziekenhuis	+	–	totaal
AZ	685	15	700
PZ	584	16	600
totaal	1269	31	1300

De fracties succes bedragen voor de lichte operaties dus voor:

AZ:     $\scriptstyle \frac{685}{700} = 0{,}9786$

PZ:     $\scriptstyle \frac{584}{600} = 0{,}9733$

Nu blijkt dat voor de lichte operaties het AZ beter scoort dan het PZ. Je denkt dan misschien dat voor de zware gevallen dat wel anders zal zijn.

Echter, voor de zware operaties zijn de aantallen:

ziekenhuis	+	–	totaal
AZ	1425	75	1500
PZ	93	7	100
totaal	1518	82	1600

De fracties succes bedragen voor de zware operaties dus voor:

AZ:     $\scriptstyle \frac{1425}{1500} = 0{,}95$

PZ:       $\scriptstyle \frac{ 93}{ 100} = 0{,}93$

Dus ook voor de zware operaties scoort het AZ beter.

Dit klinkt paradoxaal en de verklaring moeten we zoeken in wat boven al is aangegeven. Het AZ wordt meer met zware operaties geconfronteerd dan het PZ. De volgende tabel geeft de verdeling van de operaties over de beide ziekenhuizen:

ziekenhuis	Z	L	totaal
AZ	1500	700	2200
PZ	100	600	700
totaal	1600	1300	2900

De fracties zware operaties bedragen voor:

AZ:     $\scriptstyle \frac{1500}{2200} = 0{,}68$

PZ:      $\scriptstyle \frac{ 100}{ 700} = 0{,}14$

We kunnen nu voor de successcore terugrekenen:

AZ:   $\scriptstyle \frac{2110}{2200}=\frac{1425}{1500}\times \frac{1500}{2200}+\frac{685}{700}\times \frac{700}{2200}$

PZ:   $\scriptstyle \frac{677}{700}=\frac{93}{100}\times \frac{100}{700}+\frac{584}{600}\times \frac{600}{700}$

anders geschreven:

AZ:  $\scriptstyle 0{,}959=0{,}95\times 0{,}6818+0{,}979 \times (1-0{,}6818)$

PZ:  $\scriptstyle 0{,}967=0{,}93\times 0{,}1429+0{,}973 \times (1-0{,}1429)$

We zien dat hoewel het AZ zowel voor de zware (0,950 tegen 0,930) als de lichte (0,979 tegen 0,973) operaties beter scoort dan het PZ, door het grotere aantal zware operaties (68%) bij het AZ de overall score (0,959) meer bepaald wordt door de lagere prestatie (0,95) voor de zware operaties en bij het PZ , waar veel minder zware operaties worden gedaan (14%) de overall score (0,967) vooral bepaald wordt door de prestatie (0,973) voor de lichte operaties.

Literatuur

Simpson, E. H. (1951), "The Interpretation of Interaction in Contingency Tables," Journal of the Royal Statistical Society, Ser. B, 13, 238-241