Entropie (informatietheorie)

Uit Wikipedia, de vrije encyclopedie
Naar navigatie springen Naar zoeken springen

Entropie is een maat voor de onzekerheid (of onwetendheid) bij het waarnemen van een reeks gebeurtenissen. Nieuwe informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt.

De gemiddelde (eigenlijk: verwachte) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde, zoals gedefinieerd in de kansrekening, van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren.
Bij een entropie= 0 is er geen onzekerheid: men heeft volledige kennis over wat er komen gaat en deze bevat dus ook geen "nieuws". Bij een maximale onzekerheid (bv. bij een getoonde willekeurige symbolenreeks) is de entropie= (waarbij n de lengte van de reeks is): elke gebeurtenis is onverwacht en dus nieuw.
Bedacht dient te worden dat entropie een subjectief emergent oordeel vooronderstelt over de betekenis van de reeks gebeurtenissen: iemand die geen betekenis kan hechten aan de reeks gebeurtenissen (bv. een analfabeet die een tekst ziet passeren) zal een entropie= (waarbij n de lengte van de reeks is) aan deze reeks toekennen. Ook kunnen twee waarnemers die verschillen in kennisniveau/onwetendheid een verschillende entropie toekennen aan dezelfde reeks gebeurtenissen.

Definitie[bewerken | brontekst bewerken]

Stel dat de mogelijke uitkomsten zijn bij een experiment . De kans van optreden van de uitkomst is . Een dergelijk experiment wordt beschreven door de discrete verdeling bepaald door de kansen , of ook door een discrete stochastische variabele met deze kansverdeling. De uitkomst bevat een hoeveelheid zelfinformatie

De entropie van het experiment, of van de kansverdeling, of ook van , is de verwachte hoeveelheid informatie.

bit.

Als niet de binaire logaritme maar de natuurlijke logaritme gebruikt wordt, heet de eenheid waarin de entropie gemeten wordt de nat; wordt de briggse logaritme gebruikt, dus met grondtal 10, dan heet de eenheid de ban.

Bewijsbaar is dat de entropie van een experiment met N mogelijke uitkomsten nooit meer is dan log2(N) bit, en dat deze wordt bereikt als elke uitkomst een even grote kans 1/N heeft.

Voorbeeld[bewerken | brontekst bewerken]

Het alfabet bevat zes klinkers (a, e, i, o, u, y) en twintig medeklinkers. Bij een experiment schrijft iemand een geheel willekeurige letter op een papiertje, en wordt er vervolgens vastgesteld of het een klinker dan wel een medeklinker is. De entropie van dit experiment is dan

bit.

Dit is een voorbeeld van een experiment met twee mogelijke uitkomsten. De entropie is dus niet meer dan 1 bit.

Relatie met thermodynamica[bewerken | brontekst bewerken]

Het begrip entropie is bekender in de thermodynamica dan in de informatietheorie, maar de definitie ervan in de informatietheorie heeft veel overeenkomsten. Het werk van Boltzmann en Gibbs aan statistische thermodynamica inspireerde Shannon om het begrip in de informatietheorie te gebruiken.