Entropie (informatietheorie)

Uit Wikipedia, de vrije encyclopedie
Ga naar: navigatie, zoeken

Entropie is de maat voor informatiedichtheid in een reeks gebeurtenissen. Informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt.

De gemiddelde hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren experiment, is gedefinieerd als de mathematische verwachting van de hoeveelheid zelfinformatie die deze gebeurtenis op zal leveren. Het gaat hierbij om de 'verwachting' zoals gedefinieerd in de kansrekening.

Stel dat er bij een experiment A een aantal mogelijke uitkomsten U_i bestaat (i = 1, 2, ..., n). Iedere uitkomst U_i zal dan optreden met een zekere kans p_i.

Dit betekent dat bij uitkomst U_i een hoeveelheid zelfinformatie H(U_i) = - \log_2(p_i) behoort.

De hoeveelheid informatie die beschikbaar komt bij eenmalige uitvoering van experiment A noemen we I; I \in \{ H(U_1), H(U_2), ..., H(U_n) \}

De gemiddelde hoeveelheid informatie bij dit experiment is  H(A) = E\{I\} = \sum_{i=1}^{n} p_i H(U_i) = \sum_{i=1}^{n} p_i ( - \log_2(p_i) ) = - \sum_{i=1}^{n} p_i\cdot \log_2(p_i) bit.

Voorbeeld[bewerken]

Het alfabet bevat zes klinkers (a, e, i, o, u, y) en twintig medeklinkers. Bij een experiment schrijft iemand een geheel willekeurige letter op een papiertje, en wordt er vervolgens vastgesteld of het een klinker dan wel een medeklinker is. De gemiddelde hoeveelheid informatie die beschikbaar komt bij dit experiment is dan  H(A) = - \sum_{i=1}^{n} p_i\cdot \log_2(p_i) = -\frac{6}{26}\cdot \log_2(\frac{6}{26}) - (\frac{20}{26})\cdot \log_2(\frac{20}{26}) = 0.488 + 0.291 = 0.779 bit.

Dit is een voorbeeld van een experiment met twee mogelijke uitkomsten. Het blijkt dat de gemiddelde hoeveelheid informatie bij uitvoering van het experiment minder dan 1 bit bedraagt. In het algemeen is het bewijsbaar dat uitvoeren van een experiment dat N mogelijke uitkomsten heeft nooit meer dan een gemiddelde informatie van log2(N) bit kan opleveren. En deze waarde voor de gemiddelde informatie wordt bereikt als elke uitkomst een even grote kans 1/N heeft.

Relatie met thermodynamica[bewerken]

Het begrip entropie is bekender in de thermodynamica dan in de informatietheorie, maar de definitie ervan in de informatietheorie heeft veel overeenkomsten. Het werk van Boltzmann en Gibbs aan statistische thermodynamica inspireerde Shannon om het begrip in de informatietheorie te gebruiken.