Entropie (informatietheorie)

Uit Wikipedia, de vrije encyclopedie
Ga naar: navigatie, zoeken

Entropie is de maat voor informatiedichtheid in een reeks gebeurtenissen. Informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt.

De gemiddelde (eigenlijk: verwachte) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde, zoals gedefinieerd in de kansrekening, van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren.

Definitie[bewerken]

Stel dat u_1,\ldots,u_n de mogelijke uitkomsten zijn bij een experiment A. De kans van optreden van de uitkomst u_i is p_i. Een dergelijk experiment wordt beschreven door de discrete verdeling bepaald door de kansen p_i, of ook door een discrete stochastische variabele X met deze kansverdeling. De uitkomst u_i bevat een hoeveelheid zelfinformatie H(u_i) = - \log_2(p_i).

De entropie H van het experiment, of van de kansverdeling, of ook van X is de verwachte hoeveelheid informatie.

{\rm H}(p) ={\rm E}\left({\rm H}(X)\right)=\sum_{i=1}^n p_i (-\log_2(p_i)) = - \sum_{i=1}^n p_i\log_2(p_i) bit.

Als niet de binaire logaritme maar de natuurlijke logaritme gebruikt wordt, heet de eenheid waarin de entropie gemeten wordt de nat; wordt de Briggse logaritme gebruikt, dus met grondtal 10, dan heet de eenheid de ban.

Voorbeeld[bewerken]

Het alfabet bevat zes klinkers (a, e, i, o, u, y) en twintig medeklinkers. Bij een experiment schrijft iemand een geheel willekeurige letter op een papiertje, en wordt er vervolgens vastgesteld of het een klinker dan wel een medeklinker is. De gemiddelde hoeveelheid informatie die beschikbaar komt bij dit experiment is dan

H(A) = - \sum_{i=1}^{n} p_i\cdot \log_2(p_i) = -\tfrac{6}{26}\cdot \log_2(\tfrac{6}{26}) - (\tfrac{20}{26})\cdot \log_2(\tfrac{20}{26}) = 0{,}488 + 0{,}291 = 0{,}779 bit.

Dit is een voorbeeld van een experiment met twee mogelijke uitkomsten. Het blijkt dat de gemiddelde hoeveelheid informatie bij uitvoering van het experiment minder dan 1 bit bedraagt. In het algemeen is het bewijsbaar dat uitvoeren van een experiment dat N mogelijke uitkomsten heeft nooit meer dan een gemiddelde informatie van log2(N) bit kan opleveren. En deze waarde voor de gemiddelde informatie wordt bereikt als elke uitkomst een even grote kans 1/N heeft.

Relatie met thermodynamica[bewerken]

Het begrip entropie is bekender in de thermodynamica dan in de informatietheorie, maar de definitie ervan in de informatietheorie heeft veel overeenkomsten. Het werk van Boltzmann en Gibbs aan statistische thermodynamica inspireerde Shannon om het begrip in de informatietheorie te gebruiken.