Zelfinformatie

Uit Wikipedia, de vrije encyclopedie
Ga naar: navigatie, zoeken

Zelfinformatie is de hoeveelheid informatie die kennis over (de uitkomst van) een bepaalde gebeurtenis, toevoegt aan iemands kennis. De hoeveelheid zelfinformatie wordt uitgedrukt in de eenheid van informatie, het bit en is nauw verwant met het begrip entropie (gemiddelde hoeveelheid informatie) uit de informatietheorie.

De hoeveelheid zelfinformatie is per definitie uitsluitend afhankelijk van de kans p op die gebeurtenis. En daarbij geldt: hoe kleiner deze kans, hoe groter de zelfinformatie bij het bekend worden dat die gebeurtenis zich voor heeft gedaan.

Verder geldt voor de zelfinformatie per definitie het volgende. Als een gebeurtenis C is samengesteld uit twee van elkaar onafhankelijke gebeurtenissen A en B, dan is de informatie bij bekend worden van C, gelijk aan de som van de informatie bij het bekend worden van gebeurtenis A en gebeurtenis B afzonderlijk.

Rekening houdend met deze randvoorwaarden heeft men de zelfinformatie  H(A) die behoort bij een gebeurtenis A met kans p gedefinieerd als:  H(A) = ^2log (1/p) (bit). Door deze definitie, waarin gebruik wordt gemaakt van de logaritmefunctie, is voldaan aan bovengenoemde randvoorwaarden.

De definitie is te herschrijven als:  H(A) = - ^2log (p) (bit).

Voorbeelden[bewerken]

  1. Bij opgooien van een munt is de kans op 'kop' 0.5. Wanneer bekend wordt dat er 'kop' gegooid is, levert dat  H('kop') = ^2 log (1/0.5) = ^2 log 2 = 1 bit aan informatie op.
  2. Bij opgooien van een dobbelsteen is de kans op 'vier' 1/6. Wanneer bekend wordt dat er 'vier' gegooid is, is de hoeveelheid zelfinformatie  H('vier') = ^2 log (1/(1/6)) = ^2 log (6) = 2.585 bit.
  3. Bij het onafhankelijk van elkaar opgooien van 2 dobbelstenen is de informatie bij bekend worden van {worp 1 = 'twee' & worp 2 = 'vier'} gelijk aan  H('worp 1 is twee & worp 2 is vier') = ^2 log (1/Pr(worp 1 = 'twee' & worp 2 = 'vier')) = ^2 log (1/(1/36)) = ^2 log (36) = 5.170 bit.
    Deze uitkomst is gelijk aan de som van de zelfinformaties behorend bij {worp 1 = 'twee'} en bij {worp 2 = 'vier'}; namelijk: 2.585 + 2.585 = 5.170 bit.