Likelihood-Quotienten-Test

Der Likelihood-Quotienten-Test (kurz LQT), auch Plausibilitätsquotiententest (englisch likelihood-ratio test), ist ein statistischer Test, der zu den typischen Hypothesentests in parametrischen Modellen gehört. Viele klassische Tests wie der F-Test für den Varianzenquotienten oder der Zwei-Stichproben-t-Test lassen sich als Beispiele für Likelihood-Quotienten-Tests interpretieren. Einfachstes Beispiel eines Likelihood-Quotienten-Tests ist der Neyman-Pearson-Test.

Definition

Formal betrachtet man das typische parametrische Testproblem: Gegeben ist eine Grundmenge von Wahrscheinlichkeitsverteilungen $P_{\theta }$, abhängig von einem unbekannten Parameter $\theta$, der aus einer bekannten Grundmenge $\Theta$ stammt. Als Nullhypothese $H_{0}$ soll getestet werden, ob der Parameter zu einer echten Teilmenge $\Theta _{0}$ gehört. Also:

$H_{0}\colon \theta \in \Theta _{0}$.

Die Alternative $H_{1}$ lautet entsprechend:

$H_{1}\colon \theta \in \Theta _{1}$,

wobei $\Theta _{1}$ das Komplement zu $\Theta _{0}$ in $\Theta$ bezeichnet.

Die beobachteten Daten sind Realisierungen von Zufallsvariablen $X_{1},\dotsc ,X_{n}$, die jeweils die (unbekannte) Verteilung $P_{\theta }$ besitzen und stochastisch unabhängig sind.

Der Begriff des Likelihood-Quotienten-Tests suggeriert bereits, dass die Entscheidung des Tests auf der Bildung eines Likelihood-Quotienten bzw. Plausibilitätsquotienten (Quotient zweier Likelihood-Funktionen bzw. Plausibilitätsfunktionen) beruht. Man geht dabei so vor, dass man ausgehend von den Daten $x=(x_{1},\dotsc ,x_{n})\;$ und den zu den einzelnen Parametern gehörenden Dichtefunktionen $f^{X_{1},\dotsc ,X_{n}}(\cdot ;\theta )$ den folgenden Ausdruck berechnet:

$\Lambda (x):={\frac {\sup _{\theta \in \Theta _{0}}f^{X_{1},\dotsc ,X_{n}}(x_{1},\dotsc ,x_{n};\theta )}{\sup _{\theta \in \Theta }f^{X_{1},\dotsc ,X_{n}}(x_{1},\dotsc ,x_{n};\theta )}}$.

Heuristisch gesprochen: Man bestimmt anhand der Daten zunächst den Parameter aus der gegebenen Grundmenge, der die größte Wahrscheinlichkeit dafür liefert, dass die gefundenen Daten gemäß der Verteilung $P_{\theta }$ realisiert worden sind. Der Wert der Dichtefunktion bezüglich dieses Parameters wird dann als repräsentativ für die gesamte Menge gesetzt. Im Zähler betrachtet man als Grundmenge den Raum der Nullhypothese, also $\Theta _{0}$; für den Nenner betrachtet man die gesamte Grundmenge $\Theta$.

Es lässt sich intuitiv schließen: Je größer der Quotient ist, desto schwächer ist die Evidenz gegen $H_{0}$. Ein Wert von $\Lambda (x)$ in der Nähe von Eins bedeutet, dass anhand der Daten kein großer Unterschied zwischen den beiden Parametermengen $\Theta$ und $\Theta _{0}$ zu erkennen ist. Die Nullhypothese sollte in solchen Fällen also nicht verworfen werden.

Demnach wird bei einem Likelihood-Quotienten-Test die Hypothese $H_{0}$ zum Niveau $\alpha$ abgelehnt, falls

$\Lambda (x)<k_{\alpha }^{*}$

gilt. Hierbei ist der kritische Wert $k_{\alpha }^{*}$ so zu wählen, dass $\sup _{\theta \in \Theta _{0}}P_{\theta }(\Lambda (X)<k_{\alpha }^{*})=\alpha$ gilt.

Die konkrete Bestimmung dieses kritischen Werts ist in der Regel problematisch.

Beispiel 1

Für unabhängige Zufallsvariablen $X_{1},\dotsc ,X_{n}$, die jeweils eine Normalverteilung mit bekannter Varianz $\sigma ^{2}$ und unbekanntem Erwartungswert $\mu$ besitzen, ergibt sich für das Testproblem $H_{0}\colon \mu =\mu _{0}$ gegen $H_{1}\colon \mu =\mu _{1}$ mit $\mu _{0}<\mu _{1}$ der folgende Likelihood-Quotient:

$\Lambda (X)=\exp \left({\frac {1}{\sigma ^{2}}}\sum _{l=1}^{n}X_{l}\left(\mu _{1}-\mu _{0}\right)\right)k\left(\mu _{0},\mu _{1},\sigma ^{2}\right)$

mit der von den konkreten Daten unabhängigen Konstanten $k(\mu _{0},\mu _{1},\sigma ^{2})=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\mu _{1}^{2}-\mu _{0}^{2})\right)$. Man erhält dann, dass $\Lambda (X)>{\tilde {c}}$ äquivalent zur Ungleichung

${\frac {1}{n}}\sum _{i=1}^{n}X_{i}>c$

ist. Dies liefert als Resultat den bekannten Gauß-Test; man wählt $c=\mu _{0}+{\frac {\sigma }{\sqrt {n}}}u_{1-a}$, wobei $u_{1-a}$ das $(1-\alpha )$-Quantil einer Standardnormalverteilung bezeichnet.

Approximation der Likelihood-Quotienten-Funktion durch eine Chi-Quadrat-Verteilung

Unter bestimmten Voraussetzungen lässt sich die im Allgemeinen schwierig zu betrachtende Teststatistik $\Lambda (X)$ durch Chi-Quadrat-verteilte Zufallsvariablen annähern, so dass sich vergleichsweise leicht asymptotische Tests herleiten lassen. In der Regel ist das möglich, wenn die Nullhypothese sich durch eine lineare Parameter-Transformation als ein Spezialfall der Alternativ-Hypothese darstellen lässt, wie im unten genannten Beispiel des Münzwurfes. Präzise formuliert ist neben eher technischen Annahmen an die Verteilungsfamilie $P_{\theta }$ die folgende Annahme einer „Parametrisierbarkeit der Nullhypothese“ fundamental:

Es seien der Parameterraum der Alternative $\Theta \subset \mathbb {R} ^{d}$ und der Nullhypothese $\Delta \subset \mathbb {R} ^{c}$ gegeben, beide Mengen seien offen und es gelte: $c<d$. Zudem existiere eine zweimal stetig differenzierbare Abbildung $h\colon \Delta \rightarrow \Theta$ mit $h(\Delta )=\Theta _{0}$, deren Jacobi-Matrix $h'(\eta )$ für jedes Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \eta \in \Delta} vollen Rang besitzt.

Dann gilt:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T_n := -2\log \Lambda(X) \rightarrow \chi^2_{d-c}} ,

wobei die Zufallsvariablen in Verteilung konvergieren.

Die Beweisidee beruht auf einer Aussage über die Existenz von Maximum-Likelihood-Schätzern in allgemeinen parametrischen Familien und ihrer Konvergenz gegen eine normalverteilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist.

Beispiel 2: Münzwurf

Ein Beispiel ist der Vergleich, ob zwei Münzen die gleiche Wahrscheinlichkeit haben, Kopf als Ergebnis zu erhalten (Nullhypothese). Wird die erste Münze Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle N} -mal geworfen mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n} Kopfwürfen und die zweite Münze Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle M} -mal geworfen mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle m} Kopfwürfen, dann ergibt sich die Kontingenztabelle unter Beobachtungen. Unter Gültigkeit der Nullhypothese (Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p=q} ) und der Alternativhypothese (Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p\neq q} ) ergeben sich die Wahrscheinlichkeiten wie unter Alternativhypothese und Nullhypothese.

	Beobachtungen		Alternativhypothese (H1)		Nullhypothese (H0)
	Münze 1	Münze 2	Münze 1	Münze 2	Münze 1	Münze 2
Kopf	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle m}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle r}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle r}
Zahl	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle N-n}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle M-m}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 1-p}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 1-q}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 1-r}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 1-r}

Unter Gültigkeit der Nullhypothese ergibt sich die Likelihood-Funktion als

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle L_{H0}(n,m) = r^n (1-r)^{N-n} r^m (1-r)^{M-m} = r^{n+m} (1-r)^{N-n+M-m} }

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{r}=(n+m)/(N+M)} .

Unter Gültigkeit der Alternativhypothese ergibt sich die Likelihood-Funktion als

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle L_{H1}(n,m) = p^n (1-p)^{N-n} q^m (1-q)^{M-m}}

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzungen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{p}=n/N} bzw. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{q}=m/M} .

Damit ergibt sich Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Lambda} als

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Lambda(n,m)=\frac{\left(\frac{n+m}{N+M}\right)^{n+m} \left(1-\frac{n+m}{N+M}\right)^{N-n+M-m}}{\left(\frac{n}{N}\right)^n \left(1-\frac{n}{N}\right)^{N-n} \left(\frac{m}{M}\right)^m \left(1-\frac{m}{M}\right)^{M-m}}}

und als Prüfwert

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle -2\log(\Lambda(m,n))} ,

der mit einem vorgegebenen kritischen Wert aus der Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \chi^2_1} -Verteilung verglichen wird. Da wir in der Alternativhypothese zwei Parameter (Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p} , Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q} ) und in der Nullhypothese einen Parameter (Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle r} ) haben, ergibt sich die Anzahl der Freiheitsgrade als Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 2-1=1} .

Literatur

P. J. Bickel, K. Doksum: Mathematical statistics. Holden-Day.