Benutzer:Maximus666/Spielwiese

In der Wahrscheinlichkeitstheorie und in der Statistik ist eine Exponentialfamilie eine Klasse von Wahrscheinlichkeitsverteilungen einer ganz bestimmten Form. Man wählt diese spezielle Form, um bestimmte Rechenvorteile auszunutzen oder aus Gründen der Verallgemeinerung. Exponentialfamilien sind in gewissem Sinne sehr natürliche Verteilungen. Das Konzept der Exponentialfamilien geht zurück auf E. J. G. Pitman, G. Darmois, und B. O. Koopman (1935–6).

Definition

Es folgt eine Reihe immer allgemeinerer Definitionen einer Exponentialfamilie. Der gewöhnliche Leser möchte sich vielleicht auf die erste und einfachste Definition konzentrieren. Diese bezieht sich auf eine ein-parametrischen Familie diskreter oder stetiger Wahrscheinlichkeitsverteilungen.

Skalarer Parameter

Eine einparametrische Exponentialfamilie ist eine Menge von Wahrscheinlichkeitsverteilungen, deren Dichtefunktion (oder im diskreten Fall: Wahrscheinlichkeitsfunktion) sich in der folgenden Form darstellen lässt:

$f_{X}(x;\theta )=h(x)\exp(\eta (\theta )T(x)-A(\theta ))\,\!$

wobei $T(x)$, $h(x)$, $\eta (\theta )$, und $A(\theta )$ bekannte Funktionen sind.

Der Wert $\theta$ ist der Parameter der Familie.

Beachte, dass x oft ein Vektor von Realisationen einer Zufallsgröße ist. In diesem Fall gilt: $T(x):\Omega \rightarrow \mathbb {R}$ ($\Omega$ bezeichnet den Raum der möglichen Ausprägungen von x).

Die Exponentialfamilie ist in kanonischer Form, falls $\eta (\theta )=\theta$. Indem man einen transformierten Parameter $\eta =\eta (\theta )$ definiert, ist es immer möglich eine Exponentialfamilie in kanonische Form zu bringen. Die kanonische Form ist nicht eindeutig (man kann $\eta (\theta )$ mit einer beliebigen Konstanten ungleich Null multiplizieren und gleichzeitig T(x) durch die Konstante teilen).

Weiter unten ist ein Beispiel einer Normalverteilung mit unbekannten Erwartungswert bei bekannter Varianz.

Vektorieller Parameter

Die einparametrische Definition kann erweitert werden auf eine Definition mit einem vektoriellem Parameter ${\boldsymbol {\theta }}=(\theta _{1},\theta _{2},\ldots ,\theta _{s})^{T}$. Eine Familie von Verteilungen gehört zu einer vektoriellen Exponentialfamilie wenn die Dichtefunktion (oder Wahrscheinlichkeitsfunktion der diskreten Verteilung) in folgender Form geschrieben werden kann:

$f_{X}(x;\theta )=h(x)\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(x)-A({\boldsymbol {\theta }})\right)\,\!$

Wie im Fall mit skalarem Parameter, wird von einer Exponentialfamilie in kanonischer Form gesprochen, wenn math>\eta_i({\boldsymbol \theta}) = \theta_i</math>, for all $i$ gilt.

Weiter unten findet sich eine Beispiel einer Normalverteilung mit unbekanntem Erwartungswert und unbekannter Varianz.

Maßtheoretische Formulierung

Wir benutzen Verteilunsfunktionen, um sowohl den diskreten, als auch den stetigen Fall gleichzeitig abzuhandeln.

Sei H eine nicht-fallende Funktion einer reellen Variable und H(x) strebt gegen 0 wenn x gegen $-\infty$ geht. Dann sind Lebesgue-Stieltjes-Integrale bezüglich dH(x) Integrale bezüglich des "Referenz Maßes" der Exponentialfamilie, die von H erzeugt wird.

Alle Mitglieder dieser Exponentialfamilie haben die (kumulative) Verteilungsfunktion

$dF(x|\eta )=e^{-\eta ^{\top }T(x)-A(\eta )}\,dH(x).$

Falls F eine stetige Verteilung mit einer Dichte ist, kann man schreiben dF(x) = f(x) dx.

H(x) ist ein Lebesgue-Stieltjes Integrator für das Referenz Maß. Ist das Referenz Maß endlich, kann es normalisiert werden und H ist dann die (kumulative) Verteilunsfunktion einer Wahrscheinlichkeitsverteilung. Falls F stetig ist mit einer Dichtefunktion, dann gilt das auch für H, was folgendermaßen aufgeschrieben werden kann dH(x) = h(x) dx. Falls F diskret ist, dann ist H eine Treppenfunktion (mit Sprüngen auf dem Träger von F).

Interpretation

Die Funktionen $T(x),\eta (\theta ),$ und $A(\theta )$ in den Definitionen oben sind willkürlich gewählt. Sie spielen allerdings in der resultierenden Wahrscheinlichkeitsverteilung eine wichtige Rolle.

• $T(x)$ ist eine suffiziente Statistik der Verteilung. Somit existiert für Exponentialfamilien eine suffiziente Statistik, deren Dimension äquivalent der Anzahl zu schätzender Parameter ist. Diese wichtige Eigenschaft wird weiter unten näher betrachtet.

• $\eta$ wird als natürlicher Parameter bezeichnet. Die Menge der Werte von $\eta$ für die die Funktion $f_{X}(x;\theta )$ endlich ist, wird natürlicher Parameterraum genannt. Es kann gezeigt werden, dass der natürliche Parameterraum immer konvex ist.

• $A(\theta )$ ist ein Normalisierungsfaktor ohne den $f_{X}(x;\theta )$ keine Wahrscheinlichkeitsverteilung wäre. Die Funktion A ist selbst wichtig, weil in Fällen in denen das Referenzmaß $dH(x)$ ein Wahrscheinlichkeitsmaß ist (alternativ: falls $h(x)$ eine Wahrscheinlichkeitsdichte ist), ist A die Kumulantenerzeugende Funktion der Wahrscheinlichkeitsverteilung der suffizienten Statistik $T(X)$ wenn die Verteilung von $X$ $dH(x)$ ist.

Beispiele

Die Normal-, Exponential-, Gamma-, Chi-Quadrat-, Beta-, Dirichlet-, Bernoulli-, Binomial-, Multinomial-, Poisson-, Negative Binomial-, geometrische und Weibullverteilung sind alle Exponentialfamilien. Die Cauchy-, Laplace- und Gleichverteilung sind keine Exponentialfamilien.

Im Folgenden betrachten wir einige Verteilungen und wie sie in der Repräsentation der Exponentialfamilien geschrieben werden können.

Normalverteilung: Unbekannter Erwartungswert, bekannte Varianz

Im ersten Beispiel nehmen wir an, dass $x$ normalverteilt ist, mit unbekanntem Erwartungswert $\mu$ und Varianz 1. Die Dichte ist dann

$f_{X}(x;\mu )={\frac {1}{\sqrt {2\pi }}}e^{-(x-\mu )^{2}/2}.$

Man sieht, dass es sich dabei um eine einparametrische Exponentialfamilie in kanonischer Form handelt, wenn man wie folgt definiert:

$h(x)=e^{-x^{2}/2}/{\sqrt {2\pi }}$

$T(x)=x\!\,$

$A(\mu )=\mu ^{2}/2\!\,$

$\eta (\mu )=\mu .\!\,$

Normalverteilung: Unbekannter Erwartungswert, unbekannte Varianz

Als nächstes betrachten wir eine Normalverteilung mit unbekanntem Erwartungswert und unbekannter Varianz. Die Dichte ist dann

$f_{X}(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(x-\mu )^{2}/2\sigma ^{2}}.$

Dies ist eine Exponentialfamilie, was man sieht, wenn man wie folgt definiert:

${\boldsymbol {\theta }}=\left({\mu \over \sigma ^{2}},{1 \over \sigma ^{2}}\right)^{T}$

$h(x)={1 \over {\sqrt {2\pi }}}$

$T(x)=\left(x,-{x^{2} \over 2}\right)^{T}$

$A({\boldsymbol {\theta }})={\theta _{1}^{2} \over 2\theta _{2}}-\ln(\theta _{2}^{1/2})={\mu ^{2} \over 2\sigma ^{2}}-\ln \left({1 \over \sigma }\right)$

Binomialverteilung

Als Beispiel einer diskreten Exponentialfamilie betrachten wir die Binomialverteilung. Die Wahrscheinlichkeitsfunktion dieser Verteilung ist

$f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}.$

Dies kann auch geschrieben werden als

$f(x)={n \choose x}\exp \left(x\log \left({p \over 1-p}\right)+n\log \left(1-p\right)\right),$

was zeigt, dass es sich bei der Binomialverteilung auch um eine Exponentialverteilung handelt. Der natürliche Parameter ist

$\eta =\log {p \over 1-p}.$

Rolle in der Statistik

Klassisches Schätzen: Suffizienz

Nach dem Pitman-Koopman-Darmois Theorem gibt es unter Wahrscheinlichkeitsfamilien, deren Träger nicht von den Parametern abhängt nur bei den Exponentialfamilien suffiziente Statistiken, deren Dimension bei wachsender Stichprobengröße beschränkt bleibt. Etwas ausführlicher: Seien X_n, n = 1, 2, 3, ... unabhängig und identisch verteilte Zufallszahlen, deren Wahrscheinlichkeitsverteilungsfamilie bekannt ist. Nur wenn diese Familie eine Exponentialfamilie ist, gibt es eine (möglicherweise vektorielle) suffiziente Statistik T(X₁, ..., X_n) deren Anzahl skalarer Komponenten nicht ansteigt, sollte der Stichprobenumfang n erhöht werden.

Bayesianisches Schätzen: konjugierte Verteilungen

Exponential families are also important in Bayesian statistics. In Bayesian statistics a prior distribution is multiplied by a likelihood function and then normalised to produce a posterior distribution. In the case of a likelihood which belongs to the exponential family there exists a conjugate prior, which is often also in the exponential family. A conjugate prior π for the parameter η of an exponential family is given by

$\pi (\eta )\propto \exp(-\eta ^{\top }\alpha -\beta \,A(\eta )),$

where $\alpha \in \mathbb {R} ^{n}$ and $\beta >0$ are hyperparameters (parameters controlling parameters).

A conjugate prior is one which, when combined with the likelihood and normalised, produces a posterior distribution which is of the same type as the prior. For example, if one is estimating the success probability of a binomial distribution, then if one chooses to use a beta distribution as one's prior, the posterior is another beta distribution. This makes the computation of the posterior particularly simple. Similarly, if one is estimating the parameter of a Poisson distribution the use of a gamma prior will lead to another gamma posterior. Conjugate priors are often very flexible and can be very convenient. However, if one's belief about the likely value of the theta parameter of a binomial is represented by (say) a bimodal (two-humped) prior distribution, then this cannot be represented by a beta distribution.

An arbitrary likelihood will not belong to the exponential family, and thus in general no conjugate prior exists. The posterior will then have to be computed by numerical methods.

Hypothesen Tests: gleichmäßig bester Test

Uniformly most powerful test}} The one-parameter exponential family has a monotone non-decreasing likelihood ratio in the sufficient statistic T(x), provided that η(θ) is non-decreasing. As a consequence, there exists a uniformly most powerful test for testing the hypothesis H₀: θ ≥ θ₀ vs. H₁: θ < θ₀.

Weiterführende Literatur

• E. L. Lehmann, Casella, G.: Theory of Point Estimation. 1998, S. 2nd ed., sec. 1.5. 
• Robert W. Keener: Statistical Theory: Notes for a Course in Theoretical Statistics. Springer, 2006, S. 27–28, 32–33. 

Diskrete univariate Verteilungen

Diskrete univariate Verteilungen für endliche Mengen:
Benford | Bernoulli | beta-binomial | binomial | Dirac | diskret uniform | empirisch | hypergeometrisch | kategorial | negativ hypergeometrisch | Rademacher | verallgemeinert binomial | Zipf | Zipf-Mandelbrot | Zweipunkt

Diskrete univariate Verteilungen für unendliche Mengen:
Boltzmann | Conway-Maxwell-Poisson | discrete-Phase-Type | erweitert negativ binomial | Gauss-Kuzmin | gemischt Poisson | geometrisch | logarithmisch | negativ binomial | parabolisch-fraktal | Poisson | Skellam | verallgemeinert Poisson | Yule-Simon | Zeta

Kontinuierliche univariate Verteilungen

Kontinuierliche univariate Verteilungen mit kompaktem Intervall:
Beta | Cantor | Kumaraswamy | raised Cosine | Dreieck | Trapez | U-quadratisch | stetig uniform | Wigner-Halbkreis

Kontinuierliche univariate Verteilungen mit halboffenem Intervall:
Beta prime | Bose-Einstein | Burr | Chi | Chi-Quadrat | Coxian | Erlang | Exponential | Extremwert | F | Fermi-Dirac | Folded normal | Fréchet | Gamma | Gamma-Gamma | verallgemeinert invers Gauß | halblogistisch | halbnormal | Hartman-Watson | Hotellings T-Quadrat | hyper-exponentiale | hypoexponential | invers Chi-Quadrat | scale-invers Chi-Quadrat | Invers Normal | Invers Gamma | Kolmogorow-Verteilung | Lévy | log-normal | log-logistisch | Maxwell-Boltzmann | Maxwell-Speed | Nakagami | nichtzentriert Chi-Quadrat | Pareto | Phase-Type | Rayleigh | relativistisch Breit-Wigner | Rice | Rosin-Rammler | shifted Gompertz | truncated normal | Type-2-Gumbel | Weibull | Wilks’ Lambda

Kontinuierliche univariate Verteilungen mit unbeschränktem Intervall:
Cauchy | Extremwert | exponential Power | Fishers z | Fisher-Tippett (Gumbel) | generalized hyperbolic | Hyperbolic-secant | Landau | Laplace | alpha-stabil | logistisch | normal (Gauß) | normal-invers Gauß’sch | Skew-normal | Studentsche t | Type-1-Gumbel | Variance-Gamma | Voigt

Multivariate Verteilungen

Diskrete multivariate Verteilungen:
Dirichlet compound multinomial | Ewens | gemischt Multinomial | multinomial | multivariat hypergeometrisch | multivariat Poisson | negativmultinomial | Pólya/Eggenberger | polyhypergeometrisch

Kontinuierliche multivariate Verteilungen:
Dirichlet | GEM | generalized Dirichlet | multivariat normal | multivariat Student | normalskaliert invers Gamma | Normal-Gamma | Poisson-Dirichlet

Multivariate Matrixverteilungen:
Gleichverteilung auf der Stiefel-Mannigfaltigkeit | Invers Wishart | Matrix Beta | Matrix Gamma | Matrix invers Beta | Matrix invers Gamma | Matrix Normal | Matrix Student-t | Matrix-Von-Mises-Fisher-Verteilung | Normal-invers-Wishart | Normal-Wishart | Wishart

Kategorie:Stochastik Kategorie:Statistik Kategorie:Wahrscheinlichkeitsverteilung