Konsistente Schätzfolge

$\{T_{1},T_{2},\ldots \}$ ist eine Folge von Schätzern für den wahren Parameter $\theta =4$. Diese Schätzfolge ist konsistent, da sich mit wachsendem Stichprobenumfang $n$ die Wahrscheinlichkeitsverteilung des Schätzers immer mehr um den wahren (unbekannten) Parameter $\theta$ konzentriert. Dennoch sind diese Schätzer verzerrt, da sie im Mittel nicht den wahren Parameter treffen. Bei $n\to \infty$ kollabiert die Wahrscheinlichkeitsverteilung von ${\hat {\theta }}_{n}$ bei $\theta$. Die asymptotische Verteilung dieser Schätzfolge ist also eine degenerierte Zufallsvariable, die den Wert $\theta$ mit Wahrscheinlichkeit $1$ annimmt.

Als eine konsistente Schätzfolge bezeichnet man in der Schätztheorie, einem Teilgebiet der mathematischen Statistik, eine Folge von Punktschätzern, die sich dadurch auszeichnet, dass sie bei größer werdender Stichprobe den zu schätzenden Wert immer genauer schätzt.

Je nach Konvergenzart unterscheidet man schwache Konsistenz (Konvergenz in Wahrscheinlichkeit), starke Konsistenz (fast sichere Konvergenz) sowie $L^{p}$-Konsistenz (Konvergenz im p-ten Mittel) mit dem Spezialfall Konsistenz im quadratischen Mittel (Konvergenz im quadratischen Mittel, Sonderfall der Konvergenz im p-ten Mittel für $p=2$). Wird von Konsistenz ohne einen Zusatz gesprochen, so ist meist die schwache Konsistenz gemeint. Alternativ finden sich auch die Bezeichnungen konsistente Folge von Schätzern und konsistenter Schätzer, wobei Letzteres fachlich nicht korrekt ist. Allerdings ist die Konstruktion als Folge meist nur dadurch bedingt, dass die größer werdende Stichprobe formalisiert werden muss. Die der Folge zugrundeliegende Idee bleibt meist unverändert.

Das Konzept der Konsistenz lässt sich auch für statistische Tests formulieren, man spricht dann von konsistenten Testfolgen.

Definition

Rahmenbedingungen

Gegeben sei ein statistisches Modell

$(X^{\mathbb {N} },{\mathcal {A}}^{\mathbb {N} },(P_{\vartheta }^{\mathbb {N} })_{\vartheta \in \Theta })$

und eine Folge von Punktschätzern $(T_{n})_{n\in \mathbb {N} }$ in einen Ereignisraum $(E,{\mathcal {E}})$

$T_{n}\colon (X^{n},{\mathcal {A}}^{n})\to (E,{\mathcal {E}})$,

die nur von den ersten $n$ Beobachtungen abhängen. Sei

$\tau \colon \Theta \to E$

eine zu schätzende Funktion.

Konsistenz oder schwache Konsistenz

Die Folge $(T_{n})_{n\in \mathbb {N} }$ heißt eine schwach konsistente Schätzfolge oder einfach eine konsistente Schätzfolge, wenn sie für jedes $\vartheta \in \Theta$ in Wahrscheinlichkeit gegen $\tau (\vartheta )$ konvergiert. Es gilt also

$\lim _{n\to \infty }P_{\vartheta }(|T_{n}-\tau (\vartheta )|\geq \epsilon )=0$

für alle $\epsilon >0$ und alle $\vartheta \in \Theta$. Unabhängig davon, welches der Wahrscheinlichkeitsmaße $P_{\vartheta }$ wirklich vorliegt, ist also für beliebig groß werdende Stichproben die Wahrscheinlichkeit, dass der geschätzte Wert sehr nah an dem zu schätzenden Wert liegt, gleich 1.

Weitere Konsistenzbegriffe

Die weiteren Konsistenzbegriffe unterscheiden sich nur bezüglich der verwendeten Konvergenzart von dem obigen schwachen Konsistenzbegriff. So heißt die Folge $(T_{n})_{n\in \mathbb {N} }$

• stark konsistent, wenn sie für alle $P_{\vartheta }$ fast sicher gegen $\tau (\vartheta )$ konvergiert;
• im p-ten Mittel konsistent, wenn sie für alle $P_{\vartheta }$ im p-ten Mittel gegen $\tau (\vartheta )$ konvergiert;
• im quadratischen Mittel konsistent, wenn sie für $p=2$ im p-ten Mittel konsistent ist.

Detaillierte Beschreibungen der Konvergenzarten sind in den entsprechenden Hauptartikeln zu finden.

Eigenschaften

Aufgrund der Eigenschaften der Konvergenzarten gilt: Sowohl aus der starken Konsistenz als auch aus der Konsistenz im p-ten Mittel folgt die schwache Konsistenz; alle anderen Implikationen sind im Allgemeinen falsch.

Wichtige Hilfsmittel, um starke und schwache Konsistenz zu zeigen, sind das starke Gesetz der großen Zahlen und das schwache Gesetz der großen Zahlen.

Beispiel

Es lässt sich zeigen, dass der Kleinste-Quadrate-Schätzer ${\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y}$, der durch die Methode der kleinsten Quadrate gewonnen wird, konsistent für ${\boldsymbol {\beta }}$ ist, d. h., für ihn gilt

${\hat {\boldsymbol {\beta }}}\;{\stackrel {p}{\longrightarrow }}\;{\boldsymbol {\beta }}$ bzw. $\operatorname {plim} ({\hat {\boldsymbol {\beta }}})={\boldsymbol {\beta }}$.

Die grundlegende Annahme, um die Konsistenz des KQ-Schätzers sicherzustellen, ist die Konvergenz

$\lim _{n\to \infty }\left({\frac {\mathbf {X} _{n}^{\top }\mathbf {X} _{n}}{n}}\right)=\mathbf {Q}$,

gegen eine invertierbare Matrix $\mathbf {Q}$, d. h. man geht insbesondere also davon aus, dass das durchschnittliche Quadrat der beobachteten Werte der erklärenden Variablen auch bei einem ins Unendliche gehendem Stichprobenumfang endlich bleibt (siehe Produktsummenmatrix#Asymptotische Resultate). Außerdem nimmt man an, dass

$\operatorname {plim} \left({\frac {\mathbf {X} _{n}^{\top }{\boldsymbol {\varepsilon }}}{n}}\right)=0$.

Die Konsistenz kann wie folgt gezeigt werden:

${\begin{aligned}\operatorname {plim} (\mathbf {b} )&=\operatorname {plim} ((\mathbf {X} _{n}^{\top }\mathbf {X} _{n})^{-1}\mathbf {X} _{n}^{\top }\mathbf {y} )\\&=\operatorname {plim} ({\boldsymbol {\beta }}+(\mathbf {X} _{n}^{\top }\mathbf {X} _{n})^{-1}\mathbf {X} _{n}^{\top }{\boldsymbol {\varepsilon }}))\\&={\boldsymbol {\beta }}+\operatorname {plim} ((\mathbf {X} _{n}^{\top }\mathbf {X} _{n})^{-1}\mathbf {X} _{n}^{\top }{\boldsymbol {\varepsilon }})\\&={\boldsymbol {\beta }}+\operatorname {plim} \left(((\mathbf {X} _{n}^{\top }\mathbf {X} _{n})^{-1}n)\right)\cdot \operatorname {plim} \left(((\mathbf {X} _{n}^{\top }{\boldsymbol {\varepsilon }})/n)\right)\\&={\boldsymbol {\beta }}+[\operatorname {plim} \left(((\mathbf {X} _{n}^{\top }\mathbf {X} _{n})/n)\right)]^{-1}\cdot \underbrace {\operatorname {plim} \left(((\mathbf {X} _{n}^{\top }{\boldsymbol {\varepsilon }})/n)\right)} _{=0}={\boldsymbol {\beta }}+\mathbf {Q} ^{-1}\cdot 0={\boldsymbol {\beta }}\end{aligned}}$.

Hierbei wurde das Slutsky-Theorem und die Eigenschaft verwendet, dass, wenn $\mathbf {X}$ deterministisch bzw. nichtstochastisch ist, $\operatorname {plim} \left((\mathbf {X} _{n}^{\top }\mathbf {X} _{n})/n\right)=\lim \left((\mathbf {X} _{n}^{\top }\mathbf {X} _{n})/n\right)$ gilt.