Significantie

Uit Wikipedia, de vrije encyclopedie
Ga naar: navigatie, zoeken

Significantie is een begrip uit de statistiek. Een waargenomen effect of correlatie wordt significant genoemd als het onaannemelijk lijkt dat het effect of de correlatie op toeval berust.

In het alledaags spraakgebruik wordt "significant" als synoniem voor 'betekenisvol', 'belangrijk', gebruikt. In die zin is in de statistiek een significante uitkomst 'betekenisvol' als bewijs tegen een toevallig ontstaan. Om een subtiele betekenisverwarring te voorkomen, wordt in de geneeskunde daarom van "klinisch significant" gesproken bij onderzoeksresultaten die niet alleen meetbaar zijn, maar ook in de geneeskundige praktijk betekenisvol zijn.

Statistische toets[bewerken]

Een uitkomst bij een statistische toets heet significant, als de uitkomst nogal onwaarschijnlijk is, exceptioneel is, in het licht van de nulhypothese. Vergelijk dit met een bewijs uit het ongerijmde. Onder de veronderstelling van de nulhypothese wordt een uitkomst gevonden, die weliswaar nu niet onmogelijk is, maar wel uitzonderlijk, ongeloofwaardig. Bijgevolg wordt de nulhypothese verworpen: de uitkomst is significant. Als criterium voor de 'ongeloofwaardigheid' van een uitkomst kan de p-waarde (overschrijdingskans) van de uitkomst berekend worden, of het kritieke gebied. Is de p-waarde te klein, dus is er onder de nulhypothese maar een kleine kans op overschrijding van de gevonden uitkomst, dan wordt die uitkomst als uitzonderlijk opgevat en de nulhypothese verworpen. Het kritieke gebied is de verzameling van alle 'ongeloofwaardige' uitkomsten, uitkomsten die tot verwerping van de nulhypothese leiden.

Van belang is dat deze term alleen gebruikt mag worden na het evalueren van een voorspelling. Men mag bijvoorbeeld niet na het overschakelen op een ander merk autobanden achteraf tevreden vaststellen dat deze "significant" langer meegaan dan het oude merk.

Significant = interessant[bewerken]

In de Proceedings of the Society for Psychical Research van 1929 wijst Ronald Aylmer Fisher, de bedenker van de hypothesestoets, al op het frequente foutieve gebruik van zijn hypothesetoets.[1]

Een grote p-waarde kan op van alles duiden: misschien is de steekproefgrootte te klein gekozen (zie het voorbeeld hierboven), misschien is de nulhypothese onjuist, misschien is het statistisch effect zo klein dat we het niet hebben waargenomen, enzovoorts.

Een grote p-waarde betekent uitsluitend dat we een waarde van de toetsingsgrootheid hebben gevonden in het niet-kritieke gebied. Deze benaming lijkt beter dan het gebruikelijk “acceptatiegebied”, omdat het woord “acceptatie” te sterk duidt op een conclusie die men echter niet mag trekken. Een grote p-waarde betekent niet dat we zonder meer mogen concluderen dat de nulhypothese juist is. Het enige dat we kunnen concluderen is dat we geen resultaat hebben gevonden dat doet twijfelen aan de juistheid van de nulhypothese.

Maar wat zegt een kleine p-waarde? Fisher waarschuwt: “The test of significance only tells him (de onderzoeker) what to ignore, namely all experiments in which significant results are not obtained. He should only claim that a phenomenon is experimentally demonstrable when he knows how to design an experiment so that it will rarely fail to give a significant result. Consequently, isolated significant results which he does not know how to reproduce are left in suspense pending further investigation.”

Dus, volgens Fisher is een significantietoets alleen zinvol binnen de context van een serie experimenten. Eén significant resultaat zegt niet veel; het zou zomaar het resultaat van toeval kunnen zijn. In dit verband wijst de historicus van de statistiek Salsburg nog op een betekenisverschuiving van het woord “significant”: dat betekende eind 19e eeuw zoiets als “duidt op iets”, maar is in de 20e eeuw langzamerhand “is belangrijk” geworden. Fisher gebruikte significant in de 19e-eeuwse betekenis.

Een waarde van de toetsingsgrootheid in het kritieke gebied, en dus een kleine p-waarde, duidt volgens Fisher mogelijk op iets interessants. Nader onderzoek, met meer experimenten, is gewenst.

Helaas veroorzaakt het veelvuldig gebruikte woord “rejectiegebied” voor het kritieke gebied dat men vaak meent dat een waarde van de toetsingsgrootheid in het kritieke gebied (kleine p-waarde) het verwerpen van de nulhypothese inhoudt. De toetsingsprocedure gaat echter uit van de juistheid van de nulhypothese, en die sluit kleine p-waarden niet uit. Een kleine p-waarde is dus pertinent geen bewijs voor de onjuistheid van de nulhypothese; één kleine p-waarde is interessant, meer ook niet.

Zie ook[bewerken]

  1. Salsburg, David, "The Lady Tasting Tea, how Statistics revolutionized science in the twentieth century", W.H. Freeman & Company, 2001, pp. 97-100