Likelihood-Quotienten-Test

Der Likelihood-Quotienten-Test (kurz LQT), auch Plausibilitätsquotiententest (englisch likelihood-ratio test), ist ein statistischer Test, der zu den typischen Hypothesentests in parametrischen Modellen gehört. Viele klassische Tests wie der F-Test für den Varianzenquotienten oder der Zwei-Stichproben-t-Test lassen sich als Beispiele für Likelihood-Quotienten-Tests interpretieren. Einfachstes Beispiel eines Likelihood-Quotienten-Tests ist der Neyman-Pearson-Test.

Definition

Formal betrachtet man das typische parametrische Testproblem: Gegeben ist eine Grundmenge von Wahrscheinlichkeitsverteilungen $P_{\theta }$, abhängig von einem unbekannten Parameter $\theta$, der aus einer bekannten Grundmenge $\Theta$ stammt. Als Nullhypothese $H_{0}$ soll getestet werden, ob der Parameter zu einer echten Teilmenge $\Theta _{0}$ gehört. Also:

$H_{0}\colon \theta \in \Theta _{0}$.

Die Alternative $H_{1}$ lautet entsprechend:

$H_{1}\colon \theta \in \Theta _{1}$,

wobei $\Theta _{1}$ das Komplement zu $\Theta _{0}$ in $\Theta$ bezeichnet.

Die beobachteten Daten sind Realisierungen von Zufallsvariablen $X_{1},\dotsc ,X_{n}$, die jeweils die (unbekannte) Verteilung $P_{\theta }$ besitzen und stochastisch unabhängig sind.

Der Begriff des Likelihood-Quotienten-Tests suggeriert bereits, dass die Entscheidung des Tests auf der Bildung eines Likelihood-Quotienten bzw. Plausibilitätsquotienten (Quotient zweier Likelihood-Funktionen bzw. Plausibilitätsfunktionen) beruht. Man geht dabei so vor, dass man ausgehend von den Daten $x=(x_{1},\dotsc ,x_{n})\;$ und den zu den einzelnen Parametern gehörenden Dichtefunktionen $f^{X_{1},\dotsc ,X_{n}}(\cdot ;\theta )$ den folgenden Ausdruck berechnet:

$\Lambda (x):={\frac {\sup _{\theta \in \Theta _{0}}f^{X_{1},\dotsc ,X_{n}}(x_{1},\dotsc ,x_{n};\theta )}{\sup _{\theta \in \Theta }f^{X_{1},\dotsc ,X_{n}}(x_{1},\dotsc ,x_{n};\theta )}}$.

Heuristisch gesprochen: Man bestimmt anhand der Daten zunächst den Parameter aus der gegebenen Grundmenge, der die größte Wahrscheinlichkeit dafür liefert, dass die gefundenen Daten gemäß der Verteilung $P_{\theta }$ realisiert worden sind. Der Wert der Dichtefunktion bezüglich dieses Parameters wird dann als repräsentativ für die gesamte Menge gesetzt. Im Zähler betrachtet man als Grundmenge den Raum der Nullhypothese, also $\Theta _{0}$; für den Nenner betrachtet man die gesamte Grundmenge $\Theta$.

Es lässt sich intuitiv schließen: Je größer der Quotient ist, desto schwächer ist die Evidenz gegen $H_{0}$. Ein Wert von $\Lambda (x)$ in der Nähe von Eins bedeutet, dass anhand der Daten kein großer Unterschied zwischen den beiden Parametermengen $\Theta$ und $\Theta _{0}$ zu erkennen ist. Die Nullhypothese sollte in solchen Fällen also nicht verworfen werden.

Demnach wird bei einem Likelihood-Quotienten-Test die Hypothese $H_{0}$ zum Niveau $\alpha$ abgelehnt, falls

$\Lambda (x)<k_{\alpha }^{*}$

gilt. Hierbei ist der kritische Wert $k_{\alpha }^{*}$ so zu wählen, dass $\sup _{\theta \in \Theta _{0}}P_{\theta }(\Lambda (X)<k_{\alpha }^{*})=\alpha$ gilt.

Die konkrete Bestimmung dieses kritischen Werts ist in der Regel problematisch.

Beispiel 1

Für unabhängige Zufallsvariablen $X_{1},\dotsc ,X_{n}$, die jeweils eine Normalverteilung mit bekannter Varianz $\sigma ^{2}$ und unbekanntem Erwartungswert $\mu$ besitzen, ergibt sich für das Testproblem $H_{0}\colon \mu =\mu _{0}$ gegen $H_{1}\colon \mu =\mu _{1}$ mit $\mu _{0}<\mu _{1}$ der folgende Likelihood-Quotient:

$\Lambda (X)=\exp \left({\frac {1}{\sigma ^{2}}}\sum _{l=1}^{n}X_{l}\left(\mu _{1}-\mu _{0}\right)\right)k\left(\mu _{0},\mu _{1},\sigma ^{2}\right)$

mit der von den konkreten Daten unabhängigen Konstanten $k(\mu _{0},\mu _{1},\sigma ^{2})=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\mu _{1}^{2}-\mu _{0}^{2})\right)$. Man erhält dann, dass $\Lambda (X)>{\tilde {c}}$ äquivalent zur Ungleichung

${\frac {1}{n}}\sum _{i=1}^{n}X_{i}>c$

ist. Dies liefert als Resultat den bekannten Gauß-Test; man wählt $c=\mu _{0}+{\frac {\sigma }{\sqrt {n}}}u_{1-a}$, wobei $u_{1-a}$ das $(1-\alpha )$-Quantil einer Standardnormalverteilung bezeichnet.

Approximation der Likelihood-Quotienten-Funktion durch eine Chi-Quadrat-Verteilung

Unter bestimmten Voraussetzungen lässt sich die im Allgemeinen schwierig zu betrachtende Teststatistik $\Lambda (X)$ durch Chi-Quadrat-verteilte Zufallsvariablen annähern, so dass sich vergleichsweise leicht asymptotische Tests herleiten lassen. In der Regel ist das möglich, wenn die Nullhypothese sich durch eine lineare Parameter-Transformation als ein Spezialfall der Alternativ-Hypothese darstellen lässt, wie im unten genannten Beispiel des Münzwurfes. Präzise formuliert ist neben eher technischen Annahmen an die Verteilungsfamilie $P_{\theta }$ die folgende Annahme einer „Parametrisierbarkeit der Nullhypothese“ fundamental:

Es seien der Parameterraum der Alternative $\Theta \subset \mathbb {R} ^{d}$ und der Nullhypothese $\Delta \subset \mathbb {R} ^{c}$ gegeben, beide Mengen seien offen und es gelte: $c<d$. Zudem existiere eine zweimal stetig differenzierbare Abbildung $h\colon \Delta \rightarrow \Theta$ mit $h(\Delta )=\Theta _{0}$, deren Jacobi-Matrix $h'(\eta )$ für jedes $\eta \in \Delta$ vollen Rang besitzt.

Dann gilt:

$T_{n}:=-2\log \Lambda (X)\rightarrow \chi _{d-c}^{2}$,

wobei die Zufallsvariablen in Verteilung konvergieren.

Die Beweisidee beruht auf einer Aussage über die Existenz von Maximum-Likelihood-Schätzern in allgemeinen parametrischen Familien und ihrer Konvergenz gegen eine normalverteilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist.

Beispiel 2: Münzwurf

Ein Beispiel ist der Vergleich, ob zwei Münzen die gleiche Wahrscheinlichkeit haben, Kopf als Ergebnis zu erhalten (Nullhypothese). Wird die erste Münze $N$-mal geworfen mit $n$ Kopfwürfen und die zweite Münze $M$-mal geworfen mit $m$ Kopfwürfen, dann ergibt sich die Kontingenztabelle unter Beobachtungen. Unter Gültigkeit der Nullhypothese ($p=q$) und der Alternativhypothese ($p\neq q$) ergeben sich die Wahrscheinlichkeiten wie unter Alternativhypothese und Nullhypothese.

	Beobachtungen		Alternativhypothese (H1)		Nullhypothese (H0)
	Münze 1	Münze 2	Münze 1	Münze 2	Münze 1	Münze 2
Kopf	$n$	$m$	$p$	$q$	$r$	$r$
Zahl	$N-n$	$M-m$	$1-p$	$1-q$	$1-r$	$1-r$

Unter Gültigkeit der Nullhypothese ergibt sich die Likelihood-Funktion als

$L_{H0}(n,m)=r^{n}(1-r)^{N-n}r^{m}(1-r)^{M-m}=r^{n+m}(1-r)^{N-n+M-m}$

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzung ${\hat {r}}=(n+m)/(N+M)$.

Unter Gültigkeit der Alternativhypothese ergibt sich die Likelihood-Funktion als

$L_{H1}(n,m)=p^{n}(1-p)^{N-n}q^{m}(1-q)^{M-m}$

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzungen ${\hat {p}}=n/N$ bzw. ${\hat {q}}=m/M$.

Damit ergibt sich $\Lambda$ als

$\Lambda (n,m)={\frac {\left({\frac {n+m}{N+M}}\right)^{n+m}\left(1-{\frac {n+m}{N+M}}\right)^{N-n+M-m}}{\left({\frac {n}{N}}\right)^{n}\left(1-{\frac {n}{N}}\right)^{N-n}\left({\frac {m}{M}}\right)^{m}\left(1-{\frac {m}{M}}\right)^{M-m}}}$

und als Prüfwert

$-2\log(\Lambda (m,n))$,

der mit einem vorgegebenen kritischen Wert aus der $\chi _{1}^{2}$-Verteilung verglichen wird. Da wir in der Alternativhypothese zwei Parameter ($p$, $q$) und in der Nullhypothese einen Parameter ($r$) haben, ergibt sich die Anzahl der Freiheitsgrade als $2-1=1$.

Literatur

P. J. Bickel, K. Doksum: Mathematical statistics. Holden-Day.