Exponentiële familie

Uit Wikipedia, de vrije encyclopedie
Ga naar: navigatie, zoeken

In de kansrekening en de statistiek is een exponentiële familie een klasse kansverdelingen die in een speciale vorm geschreven kunnen worden. Van dergelijke kansverdelingen zegt men dat ze behoren tot de exponentiële klasse. De bedoelde speciale vorm is gekozen voor het wiskundig gemak, vanwege een aantal algebraïsche eigenschappen, maar ook omdat exponentiële families in bepaald opzicht heel natuurlijk zijn. Het begrip is geïntroduceerd in 1935-1936 door E.J.G. Pitman, G. Darmois en B.O. Koopman.

Definitie[bewerken]

De eenvoudigste vorm van een exponentiële familie wordt gevormd door kansverdelingen met één parameter. De kansdichtheid of kansfunctie heeft de vorm:

\!\,f(x;\theta) = h(x) \exp(\eta(\theta) T(x) - A(\theta)),

waarin T(x), h(x), η(θ) en A(θ) bekende functies zijn.

De parameter θ heet de parameter van de familie. Merk op dat x eventueel een vector van reële getallen kan zijn.

Als η(θ) = θ, zegt men dat de exponentiële familie in kanonieke vorm is. De kanonieke vorm is niet eenduidig, aangezien η(θ) = θ vermenigvuldigd kan worden met een constante ongelijk aan 0, als tegelijkertijd T(x) door deze constante gedeeld wordt. Door de transformatie η = η(θ) is het altijd mogelijk de exponentiële familie in een kanonieke vorm te schrijven.

De betekenis van de functies T, h, η en A is als volgt:

  • η heet de natuurlijke parameter. De verzameling waarden van η waarvoor de functie f(x;\theta) eindig is, heet de natuurlijke parameterruimte. Bewezen kan worden dat deze convex is.
  • A(θ) is een normeringsfactor die zo bepaald is dat de totale kansmassa gelijk is aan 1.

Meer parameters[bewerken]

De definitie wordt uitgebreid tot families met meer parameters \theta = (\theta_1, \theta_2, \ldots, \theta_m) door de vorm:

f(x; \theta) = h(x) \exp\left(\eta(\theta)'T(x) - A(\theta) \right)

waarin η en T nu vectorwaardige functies van gelijke dimensie zijn.

Net als in het eendimensionale geval heet de exponentiële familie in kanonieke vorm te zijn, als voor elke i geldt: \!\,\eta_i(\theta) = \theta_i.

Voorbeelden[bewerken]

De normale, de exponentiële, de gamma-, de chi-kwadraat-, beta-, binomiale, multinomiale, Poisson-, negatief-binomiale en geometrische verdeling vormen elk een exponeniële familie.

Voorbeelden van niet-exponentiële families zijn de Cauchy-verdeling en de uniforme verdeling.

Normale verdeling met bekende variantie[bewerken]

De dichtheid van de normale verdeling met verwachting \mu en bekende variantie 1, is,

f(x;\mu) = \frac{1}{\sqrt{2 \pi}} e^{-\tfrac 12 (x-\mu)^2}.

Dit is een exponentiële familie in kanonieke vorm, met:

h(x) = \frac {1}{\sqrt{2\pi}}e^{-\tfrac 12 x^2}
\!\,T(x) = x
\!\,A(\mu) = \tfrac 12\mu^2
\!\,\eta(\mu) = \mu

Normale verdeling[bewerken]

De normale verdeling met onbekende verwachting \mu en onbekende variantie \sigma^2 heeft de dichtheid:

f(x) = \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-\frac{(x-\mu)^2}{/2 \sigma^2}}.

Dit is ook een exponentiële familie met:

\theta = \left({\mu \over \sigma^2},{1 \over \sigma^2} \right)
h(x) = \frac{1}{\sqrt{2 \pi}}
T(x) = \left( x, -{x^2 \over 2} \right)
A(\theta)  = { \theta_1^2 \over 2 \theta_2} - \ln( \theta_2^{1/2} ) = { \mu^2 \over 2 \sigma^2} - \ln \left( {1 \over \sigma } \right)

Binomiale verdeling[bewerken]

Een voorbeeld van een discrete exponentiële familie is de B(n,p)-verdeling met bekende parameter n. De kansfunctie is:

f(x;p)=\tbinom nk p^x (1-p)^{n-x}, \quad x \in \{0, 1, 2, \ldots, n\}.

Dit kan geschreven worden als:

f(x;p)=\tbinom nk \exp\left(x \log\left(\tfrac{p}{1-p}\right) + n \log\left(1-p\right)\right),

waaruit blijkt dat de binomiale verdeling een exponentiële familie is, met natuurlijke parameter:

\eta = \log{\tfrac{p}{1-p}}.