Wald-Test

Der Wald-Test ist in der Ökonometrie ein parametrischer statistischer Test, der 1939 von Abraham Wald (1902–1950) entwickelt worden ist. Mit dem Test kann die Verteilung einer geeigneten Teststatistik unter Gültigkeit der Nullhypothese bestimmt werden. Eine allgemeine Teststatistik für verschiedenste ökonometrische Fragestellungen ist die Wald-Statistik, die asymptotisch einer Chi-Quadrat-Verteilung folgt. Der Wald-Test basiert auf der Tatsache, dass der Maximum-Likelihood-Schätzer ${\hat {\vartheta }}_{\text{ML}}$ für den unbekannten Parameter für große Beobachtungszahlen in Verteilung gegen eine Normalverteilung strebt. Viele Tests lassen sich daher als Spezialfälle des Wald-Tests auffassen.

Eindimensionaler Fall

Aus der Maximum-Likelihood-Theorie weiß man, dass der Maximum-Likelihood-Schätzer des unbekannten Parameters in Verteilung für große Beobachtungszahlen gegen eine Normalverteilung strebt. Sei $\vartheta$ ein unbekannter Parameter in der Grundgesamtheit und $\vartheta _{0}$ ein vorgegebener Wert. Um die folgende Nullhypothese gegen korrespondierende Alternativhypothese zu testen

$H_{0}\colon \vartheta =\vartheta _{0}$  gegen  $H_{1}\colon \vartheta \neq \vartheta _{0}$,

kann man eine der folgenden Test-Statistiken benutzen:

${\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}({\hat {\vartheta }}_{\text{ML}}-\vartheta _{0})\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(0,1)$

oder

${\sqrt {J({\hat {\vartheta }}_{\text{ML}})}}({\hat {\vartheta }}_{\text{ML}}-\vartheta _{0})\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(0,1)$,

die beide unter der Nullhypothese asymptotisch normalverteilt sind. Hierbei bezeichnet $I(\cdot )$ die Fisher-Information und $J(\cdot )$ die erwartete Fisher-Information. Beide Teststatistiken sind approximative Pivotgrößen für $\vartheta$ und werden Wald-Statistiken genannt.

Betrachtet man die quadrierte Teststatistik, so gilt:

$W:=F({\hat {\vartheta }}_{\text{ML}})({\hat {\vartheta }}_{\text{ML}}-\vartheta _{0})^{2}\;{\stackrel {a}{\sim }}\;\chi ^{2}(1)$,

d. h., sie ist bei großen Stichproben asymptotisch Chi-Quadrat-verteilt. Dies gilt, da eine quadrierte standardnormalverteilte Zufallsgröße einer Chi-Quadrat-Verteilung mit einem Freiheitsgrad folgt.

Wald-Vertrauensintervall

Bezeichne ${\hat {\vartheta }}_{\text{ML}}$ den Maximum-Likelihood-Schätzer für $\vartheta$, dann gilt für die Wahrscheinlichkeit, dass die Wald-Statistik innerhalb der $1-\alpha /2$-Quantile der Standardnormalverteilung liegt

$P\left({-z_{\left(1-{\tfrac {\alpha }{2}}\right)}\leq {\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}({\hat {\vartheta }}_{\text{ML}}-\vartheta )\leq z_{\left(1-{\tfrac {\alpha }{2}}\right)}}\right)\approx 1-\alpha$

und damit ergibt sich das $(1-\alpha )$-Wald-Vertrauensintervall zu

$KI_{1-\alpha }(\vartheta )=\left[{\hat {\vartheta }}_{\text{ML}}-z_{\left(1-{\tfrac {\alpha }{2}}\right)}{\frac {1}{\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}};{\hat {\vartheta }}_{\text{ML}}+z_{\left(1-{\tfrac {\alpha }{2}}\right)}{\frac {1}{\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}}\right]$.

Mehrdimensionaler Fall

Im mehrdimensionalen Fall, wobei ${\hat {\boldsymbol {\vartheta }}}=({\hat {\vartheta _{1}}},{\hat {\vartheta _{2}}},\dotsc ,{\hat {\vartheta _{k}}})^{\top }$ der Vektor der Schätzfunktionen ist und ${\boldsymbol {\Sigma }}_{\hat {\boldsymbol {\vartheta }}}$ die asymptotische nichtsinguläre Kovarianzmatrix des Maximum-Likelihood-Schätzers ist, kann die Nullhypothese $H_{0}:{\boldsymbol {\vartheta }}={\boldsymbol {\vartheta }}_{0}$ mit folgender Teststatistik getestet werden

$W=({\hat {\boldsymbol {\vartheta }}}-{\boldsymbol {\vartheta }}_{0})^{\top }{\boldsymbol {\Sigma }}_{\hat {\boldsymbol {\vartheta }}}^{-1}({\hat {\boldsymbol {\vartheta }}}-{\boldsymbol {\vartheta }}_{0})\ \;{\stackrel {a,H_{0}}{\sim }}\;\chi ^{2}(k)$

ist dann asymptotisch Chi-Quadrat-verteilt mit $k$ Freiheitsgraden. Die Restriktionsfunktion $r({\hat {\vartheta }})=({\hat {\vartheta }}-\vartheta _{0})$ muss hierzu unter Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle H_0} vollständig differenzierbar sein und vollen Rang haben.

Wald-Statistiken für allgemeine lineare Hypothesen

Um allgemeine lineare Hypothesen zu testen, spielt die asymptotische Verteilung der Wald-Statistik eine große Rolle. Sei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol R} eine Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q \times (k+1)} Restriktionsmatrix, mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q \leq (k+1)} Sei weiterhin angenommen, dass die Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q } Restriktionen an den Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (k+1) \times 1} Parametervektor Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol \beta} ausgedrückt werden können als :Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle H_0: \boldsymbol R\boldsymbol\beta= \boldsymbol r } , wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol r} ein Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q \times 1} -Vektor bestehend aus bekannten Konstanten darstellt. Unter bestimmten Voraussetzungen kann gezeigt werden, dass unter der Nullhypothese die gewichtete Hypothesenquadratsumme

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle W=\frac{1}{\sigma^2}( \boldsymbol R\boldsymbol\hat{\beta}-\boldsymbol r)^{\top}(\boldsymbol R(\mathbf X^{\top}\mathbf X)^{-1}\boldsymbol R^{\top})^{-1}( \boldsymbol R\boldsymbol\hat{\beta}-\boldsymbol r)\sim \chi^2(q) }

einer Chi-Quadrat-Verteilung mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q} (Anzahl der Restriktionen) Freiheitsgraden folgt. Hierbei misst Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol R\boldsymbol\hat{\beta}-\boldsymbol r} wie weit der geschätzte Wert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol\hat{\beta}} von der Nullhypothese Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol R\boldsymbol\beta-\boldsymbol r =\mathbf{0}} abweicht. Weiterhin ist Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (\boldsymbol R\boldsymbol\beta-\boldsymbol r)^{\top}(\boldsymbol R\boldsymbol\beta-\boldsymbol r)} die dazugehörige Summe der Abweichungsquadrate (Analog zur Residuenquadratsumme). Diese Summe der Abweichungsquadrate wird mit der inversen Kovarianzmatrix der Nullhypothese Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (\boldsymbol R(\mathbf X^{\top}\mathbf X)^{-1}\boldsymbol R^{\top})^{-1}/\sigma^2} gewichtet, weil für eine große Kovarianz ebenso so große Abweichungen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol R\boldsymbol\hat{\beta}-\boldsymbol r} nicht notwendigerweise ein Indikator für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle H_0} sind. Falls der erwartungstreue Schätzer für die Störgrößenvarianz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat \sigma^2 = \tfrac1{n-k-1}\sum\nolimits_{i=1}^n \hat{\varepsilon}_i^2 } benutzt wird, kann man zeigen, dass die Wald-Statistik Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle W} dividiert durch die Anzahl der Restriktionen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q} genau der F-Statistik des multiplen linearen Testproblems entspricht.

Beispiele

Einstichproben-Gauß-Test als Spezialfall des Wald-Tests

Wenn eine Variable in einer Grundgesamtheit normalverteilt ist mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X\sim \mathcal{N}(\mu; \sigma^2)} mit unbekanntem Parameter Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mu} und bekanntem Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma} , dann ist der Stichprobenmittelwert

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{X}=\frac1n \sum_{i=1}^n X_i \sim \mathcal{N}(\mu, \sigma^2/n)}

auch der Maximum-Likelihood-Schätzer für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mu} . Eine der Hypothesen für den Einstichproben-Gauß-Test lautet:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle H_0\colon \mu=\mu_0}   gegen  Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle H_1\colon \mu\neq\mu_0}

und die Teststatistik nach Wald wäre

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T=\frac{\overline{X}-\mu_0}{\sigma/\sqrt{n}}\sim\mathcal{N}(0,1)} .

Somit kann der Einstichproben-Gauß-Test als Spezialfall des Wald-Tests aufgefasst werden.

Globaler F-Test als Spezialfall des Wald-Tests

Einen weiteren Spezialfall des Wald-Tests stellt der globale F-Test dar. Bei diesem wird geprüft, ob mindestens eine erklärende Variable einen Erklärungsgehalt für das Modell liefert. Falls diese Hypothese verworfen wird, ist somit das Modell nutzlos. Die Nullhypothese des F-Tests auf Gesamtsignifikanz des Modells sagt aus, dass alle erklärenden Variablen keinen Einfluss auf die abhängige Variable haben, und die Alternativhypothese, dass mindestens eine erklärende Variable Einfluss auf sie hat. Sowohl die erklärenden Variablen als auch die unabhängigen Variablen können binär (kategoriell) oder metrisch sein. Der Wald-Test kann dann die Hypothesen testen (ohne Einbezug des Achsenabschnitts):

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle H_0\colon \beta_1=\beta_2=\ldots=\beta_k \;=\;0 \Rightarrow \rho^2 = 0}   gegen  Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle H_1: \beta_j \; \neq \; 0 \; \mathrm{f\ddot ur \;mindestens\; ein}\; j \in \{1,\ldots,k\} \Rightarrow \rho^2 > 0} .

Alternativen

Eine Alternative zum Wald-Test bietet der Likelihood-Quotienten-Test. Dieser ist zwar rechenaufwändiger, dafür zeigt er in kleinen Stichproben jedoch auch bessere Eigenschaften. Eine weitere Alternative ist der sogenannte Lagrange-Multiplikator-Tests (LM-Tests, siehe auch Lagrange-Multiplikator). Asymptotisch sind diese drei Tests jedoch identisch.

Literatur

• Wald's W-Statistics. In: Encyclopedia of Statistical Sciences. Wiley, Hoboken 2006, S. 9028–9029.
• Abraham Wald: Tests of Statistical Hypotheses Concerning Several Parameters When the Number of Observations is Large. In: Transactions of the American Mathematical Society. Vol. 54, No. 3, Nov 1943, S. 426–482, doi:10.1090/S0002-9947-1943-0012401-3, JSTOR 1990256.
• Tim F. Liao: Comparing Social Groups: Wald Statistics for Testing Equality Among Multiple Logit Models. In: International Journal of Comparative Sociology. Vol. 45, No. 1–2, 2004, S. 3–16, doi:10.1177/0020715204048308.
• Robert F. Engle: Wald, Likelihood Ratio and Lagrange Multiplier Tests in Econometrics. In: Zvi Griliches, Michael D. Intriligator (Hrsg.): Handbook of Econometrics. Vol. 2, Elsevier, Amsterdam u. a. 1984, S. 775–826.