Erwartungstreue

Erwartungstreue (oft auch Unverzerrtheit, englisch unbiasedness) bezeichnet in der mathematischen Statistik eine Eigenschaft einer Schätzfunktion (kurz: eines Schätzers). Ein Schätzer heißt erwartungstreu, wenn sein Erwartungswert gleich dem wahren Wert des zu schätzenden Parameters ist. Ist eine Schätzfunktion nicht erwartungstreu, spricht man davon, dass der Schätzer verzerrt ist. Das Ausmaß der Abweichung seines Erwartungswerts vom wahren Wert nennt man Verzerrung oder Bias. Die Verzerrung drückt den systematischen Fehler des Schätzers aus.

Erwartungstreue zählt neben Konsistenz, Suffizienz und (asymptotischer) Effizienz zu den vier gebräuchlichen Kriterien zur Beurteilung der Qualität von Schätzern. Des Weiteren gehört sie gemeinsam mit der Suffizienz und der Invarianz/Äquivarianz zu den typischen Reduktionsprinzipien der mathematischen Statistik.

Bedeutung

Die Erwartungstreue ist eine wichtige Eigenschaft eines Schätzers, da die Varianz der meisten Schätzer mit steigendem Stichprobenumfang gegen Null konvergiert. D.h. die Verteilung zieht sich um den Erwartungswert des Schätzers, und damit bei erwartungstreuen Schätzern um den gesuchten wahren Parameter der Grundgesamtheit, zusammen. Bei erwartungstreuen Schätzern können wir erwarten, dass die Differenz zwischen dem aus der Stichprobe berechneten Schätzwert und dem wahren Parameter umso kleiner ist, je größer der Stichprobenumfang ist.

Außer zur praktischen Beurteilung der Qualität von Schätzern ist der Begriff der Erwartungstreue auch für die mathematische Schätztheorie von großer Bedeutung. In der Klasse aller erwartungstreuen Schätzer gelingt es – unter geeigneten Voraussetzungen an das zugrundeliegende Verteilungsmodell –, Existenz und Eindeutigkeit bester Schätzer zu beweisen. Das sind erwartungstreue Schätzer, die unter allen möglichen erwartungstreuen Schätzern minimale Varianz haben.

Grundidee und einführende Beispiele

Um einen unbekannten reellen Parameter $\gamma$ einer Grundgesamtheit zu schätzen, berechnet man in der mathematischen Statistik aus einer zufälligen Stichprobe $X_{1},\dotsc ,X_{n}$ mit Hilfe einer geeignet gewählten Funktion $g$ eine Schätzung $g(X_{1},\dotsc ,X_{n})$. Allgemein lassen sich geeignete Schätzfunktionen mit Hilfe von Schätzmethoden, z. B. der Maximum-Likelihood-Methode, gewinnen.

Da die Stichprobenvariablen $X_{1},\dotsc ,X_{n}$ Zufallsvariablen sind, ist auch der Schätzer $g(X_{1},\dotsc ,X_{n})$ selbst eine Zufallsvariable. Er wird erwartungstreu genannt, wenn der Erwartungswert dieser Zufallsvariable stets gleich dem Parameter $\gamma$ ist, egal welchen Wert $\gamma$ in Wirklichkeit hat. Durch Erzeugen von Stichprobenwiederholungen kann die Verteilung des Schätzers untersucht werden.

Beispiel Stichprobenmittel

Zur Schätzung des Erwartungswertes $\gamma =\mu$ der Grundgesamtheit wird üblicherweise das Stichprobenmittel

$g(X_{1},\dotsc ,X_{n})={\overline {X}}_{n}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$

verwendet. Werden alle Stichprobenvariablen $X_{i}$ zufällig aus der Grundgesamtheit gezogen, so haben alle den Erwartungswert $\operatorname {E} (X_{i})=\mu$. Damit berechnet sich der Erwartungswert des Stichprobenmittels zu

$\operatorname {E} ({\overline {X}}_{n})=\operatorname {E} \left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {E} (X_{i})={\frac {1}{n}}\cdot n\cdot \mu =\mu$.

Das Stichprobenmittel ist also ein erwartungstreuer Schätzer des unbekannten Verteilungsparameters $\mu$.

Verteilung des Schätzers ${\overline {X}}_{n}$ für verschiedene Stichprobenumfänge $n$.

Falls die Grundgesamtheit normalverteilt ist mit Erwartungswert $\mu$ und Varianz $\sigma ^{2}$, dann lässt sich die Verteilung von ${\overline {X}}_{n}$ genau angeben. In diesem Fall gilt

${\overline {X}}_{n}\sim {\mathcal {N}}(\mu ,\sigma ^{2}/n),$

das heißt, das Stichprobenmittel ist ebenfalls normalverteilt mit Erwartungswert $\mu$ und Varianz ${\tfrac {\sigma ^{2}}{n}}$. Ist der Stichprobenumfang $n$ groß, so gilt aufgrund des zentralen Grenzwertsatzes diese Verteilungsaussage zumindest näherungsweise, auch wenn die Grundgesamtheit nicht normalverteilt ist. Die Varianz dieses Schätzers konvergiert also gegen 0, wenn der Stichprobenumfang $n$ gegen unendlich geht. Die Grafik rechts zeigt, wie sich für verschiedene Stichprobenumfänge die Verteilung der Stichprobenmittel immer weiter auf einen festen Wert zusammenzieht. Aufgrund der Erwartungstreue ist sichergestellt, dass dieser Wert der gesuchte Parameter $\mu$ ist.

Beispiel relative Häufigkeit

Um zu schätzen, mit welcher Wahrscheinlichkeit $p$ ein bestimmtes Merkmal in der Grundgesamtheit auftritt, wird daraus eine Stichprobe von Umfang $n$ zufällig ausgewählt und die absolute Häufigkeit $X$ des Merkmals in der Stichprobe ausgezählt. Die Zufallsvariable $X$ ist dann binomialverteilt mit den Parametern $p$ und $n$, insbesondere gilt für ihren Erwartungswert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname E(X) = np} . Für die relative Häufigkeit

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle h_n = \frac{X}{n}}

folgt dann Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname E(h_n) = \tfrac{1}{n}\operatorname E(X) = \tfrac{np}{n} = p,} das heißt, sie ist ein erwartungstreuer Schätzer der unbekannten Wahrscheinlichkeit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p} .

Definition

In der modernen, maßtheoretisch begründeten mathematischen Statistik wird ein statistisches Experiment durch ein statistisches Modell Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (\mathcal{X}, \mathcal{F}, P_\vartheta : \vartheta \in \Theta)} beschrieben. Dieses besteht aus einer Menge Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathcal{X}} , dem Stichprobenraum, zusammen mit einer σ-Algebra ${\mathcal {F}}$ und einer Familie Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (P_\vartheta)_{\vartheta \in \Theta}} von Wahrscheinlichkeitsmaßen auf Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathcal{X}} .

Es sei ein Punktschätzer

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T \colon \mathcal X \to \R }

sowie eine Funktion

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \gamma \colon \Theta \to \R}

gegeben (im parametrischen Fall die sogenannte Parameterfunktion), die jeder Wahrscheinlichkeitsverteilung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P_\vartheta } die zu schätzende Kennzahl Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \gamma(\vartheta) } (Varianz, Median, Erwartungswert etc.) zuordnet.

Dann heißt der Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } erwartungstreu, wenn

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname E_\vartheta(T)=\gamma(\vartheta) \quad \mathrm{f\ddot ur \;alle\;} \vartheta \in \Theta } ist. Hierbei bezeichnet Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname E_{\vartheta}} den Erwartungswert bezüglich des Wahrscheinlichkeitsmaßes Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P_{\vartheta}} .

In Anwendungen ist $P_{\vartheta }$ oft die Verteilung einer (reellen oder vektorwertigen) Zufallsvariable Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X \colon \Omega \to \mathcal{X}} auf einem Wahrscheinlichkeitsraum Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (\Omega, \Sigma, Q)} mit einem unbekannten Parameter oder Parametervektor Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta} . Ein Punktschätzer $g\colon {\mathcal {X}}\to \mathbb {R}$ für $\gamma (\vartheta )$ in obigem Sinne ergibt dann eine Funktion $T=g\circ X$ und diese heißt analog erwartungstreuer Schätzer, wenn gilt

$\operatorname {E} (T)=\operatorname {E} (g(X))=\gamma (\vartheta ),$

wobei der Erwartungswert nun bezüglich Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Q} gebildet wird.

Eigenschaften

Existenz

Erwartungstreue Schätzer müssen im Allgemeinen nicht existieren. Wesentlich hierfür ist die Wahl der Funktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g(\vartheta) } . So kann bei unpassender Wahl der zu schätzenden Funktion die Menge der erwartungstreuen Schätzer klein sein, unsinnige Eigenschaften aufweisen oder leer sein.

Im Binomial-Modell

$X=\{0,1,\dots ,n\},\;{\mathcal {A}}={\mathcal {P}}(X),\;P_{\vartheta }=\operatorname {Bin} _{n,\vartheta }\quad \mathrm {f{\ddot {u}}r\;alle\;} \vartheta \in [0,1]$

sind beispielsweise nur Polynome in Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta } von Grad kleinergleich n erwartungstreu schätzbar. Für zu schätzende Funktionen, die nicht von der Form

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g(\vartheta)= a_n \vartheta^n + a_{n-1}\vartheta^{n-1}+ \dots + a_1 \vartheta+a_0 }

sind existiert also kein erwartungstreuer Schätzer.

Auch wenn ein erwartungstreuer Schätzer existiert, muss er kein praktisch sinnvoller Schätzer sein: Beispielsweise im Poisson-Modell

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X=\N, \; \mathcal A= \mathcal P(\N), \; P_\vartheta=\operatorname{Poi}_\vartheta \quad \mathrm{f\ddot ur \;alle\;} \vartheta \in (0, \infty) }

und bei Verwendung der zu schätzenden Funktion

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g(\vartheta)= \exp (-3 \vartheta) }

ergibt sich als einziger erwartungstreuer Schätzer

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T(k)= (-2)^k\quad \mathrm{f\ddot ur}\; k \in \N } .

Dieser Schätzer ist augenscheinlich sinnlos. Zu beachten ist hier, dass die Wahl der zu schätzenden Funktion nicht exotisch ist: Sie schätzt die Wahrscheinlichkeit, dass dreimal in Folge (bei unabhängiger Wiederholung) kein Ereignis eintritt.

Struktur

Gegeben sei ein fixes statistisches Modell. Sei $D_{g}$ die Menge der erwartungstreuen Schätzer für die zu schätzende Funktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g } und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle D_0 } die Menge aller Nullschätzer, also

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle D_0 = \{T \, | \, \operatorname E_\vartheta(T)=0 \quad \mathrm{f\ddot ur \;alle\;} \vartheta \in \Theta \} } .

Wählt man nun ein Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T \in D_g } aus, so ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle D_g = T + D_0 } .

Die Menge aller erwartungstreuen Schätzer für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g } entstehen demnach aus einem erwartungstreuen Schätzer für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g } in Kombination mit den Nullschätzern.

Beziehung zu Verzerrung und MQF

Erwartungstreue Schätzer haben per Definition eine Verzerrung von Null:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Bias}_\vartheta(T):=\operatorname E_\vartheta(T)- g(\vartheta)=0\quad \mathrm{f\ddot ur \;alle\;} \vartheta \in \Theta } .

Damit reduziert sich der mittlere quadratische Fehler zur Varianz des Schätzers:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{MQF}(T, \vartheta) := \operatorname{Var}_\vartheta(T)+ \left( \operatorname{Bias}_\vartheta(T)\right)^2 = \operatorname{Var}_\vartheta(T)} .

Optimalität

Erwartungstreue an sich ist bereits ein Qualitätskriterium, da erwartungstreue Schätzer immer eine Verzerrung von Null haben und somit im Mittel den zu schätzenden Wert liefern. Sie haben also keinen systematischen Fehler. In der Menge der erwartungstreuen Schätzer reduziert sich das zentrale Qualitätskriterium für Schätzer, der mittlere quadratische Fehler, zu Varianz der Schätzer. Demnach vergleichen die beiden gängigen Optimalitätskriterien die Varianzen von Punktschätzern.

• Lokal minimale Schätzer vergleichen die Varianzen von Punktschätzern für ein vorgegebenes Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta_0 \in \Theta } . Ein Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle S } heißt dann ein lokal minimaler Schätzer in Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta_0 } , wenn

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Var}_{\vartheta_0}(S) \leq \operatorname{Var}_{\vartheta_0}(T) }

für alle weiteren erwartungstreuen Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } gilt.

• Gleichmäßig bester erwartungstreue Schätzer verschärfen diese Forderung dahingehend, dass ein Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle S } für alle Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta \in \Theta } eine kleinere Varianz als jeder weitere erwartungstreue Schätzer haben soll. Es gilt dann also

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Var}_{\vartheta}(S) \leq \operatorname{Var}_{\vartheta}(T)\quad \mathrm{f\ddot ur \;alle\;} \vartheta \in \Theta }

und alle erwartungstreuen Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } .

Erwartungstreue vs. mittlerer quadratischer Fehler

Erwartungstreue Schätzer sind auf zwei Arten als „gut“ anzusehen:

• Einerseits ist ihre Verzerrung immer gleich null; sie haben demnach die wünschenswerte Eigenschaft, keinen systematischen Fehler aufzuweisen.
• Andererseits ist aufgrund der Zerlegung des mittleren quadratischen Fehlers in Verzerrung und Varianz der mittlere quadratische Fehler eines erwartungstreuen Schätzers immer automatisch klein, da die Verzerrung wegfällt.

Allerdings können nicht immer beide Ziele (Erwartungstreue und minimaler quadratischer Fehler) gleichzeitig erfüllt werden. So ist im Binomialmodell $X=\{0,\dots ,n\},{\mathcal {A}}={\mathcal {P}}(X),P_{\vartheta }=\operatorname {Bin} _{n,\vartheta }$ mit $\vartheta \in [0,1]$ ein gleichmäßig bester erwartungstreuer Schätzer gegeben durch

$T_{1}(x)={\frac {x}{n}}$.

Der Schätzer

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T_2= \frac{x+1}{n+2} }

ist nicht erwartungstreu und folglich verzerrt, besitzt aber für Werte von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta } nahe an Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 0 {,}5 } einen geringeren mittleren quadratischen Fehler.

Es können also nicht immer Verzerrung und mittlerer quadratischer Fehler gleichzeitig minimiert werden.

Schätzer mit Verzerrung

→ Hauptartikel: Verzerrung einer Schätzfunktion

Diese Graphik zeigt eine Verletzung der Unverzerrtheits- und Konsistenzeigenschaft. Es wird im Mittel nicht der wahre Wert 3 geschätzt, sondern -2. Somit ergibt sich eine Verzerrung von 5: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{Bias}(\hat{\beta}_1)=\operatorname E(\hat{\beta}_1 )-\beta_1 =3-(-2)=5}

Es ergibt sich aus der Definition, dass „gute“ Schätzer zumindest näherungsweise erwartungstreu sein, sich also dadurch auszeichnen sollen, dass sie im Mittel nah am zu schätzenden Wert liegen. Üblicherweise ist Erwartungstreue jedoch nicht das einzige wichtige Kriterium für die Qualität eines Schätzers; so sollte er beispielsweise auch eine kleine Varianz haben, also möglichst gering um den zu schätzenden Wert schwanken. Zusammengefasst ergibt sich das klassische Kriterium einer minimalen mittleren quadratischen Abweichung für optimale Schätzer.

Die Verzerrung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{Bias}_{\vartheta}(T)} eines Schätzers Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T} ist definiert als Differenz zwischen seinem Erwartungswert und der zu schätzenden Größe:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{Bias}_{\vartheta}(T):=\operatorname E_{\vartheta}(T)-\gamma(\vartheta)=\operatorname E_{\vartheta}(T-\gamma(\vartheta)).}

Sein mittlerer quadratischer Fehler $\mathrm {MSE} _{\vartheta }(T)$ ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{MSE}_{\vartheta}(T) := \operatorname E_{\vartheta}\bigl( (T-\gamma(\vartheta))^2 \bigr).}

Der mittlere quadratische Fehler ist gleich der Summe des Quadrats der Verzerrung und der Varianz des Schätzers:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{MSE}_{\vartheta}(T) = \bigl(\mathrm{Bias}_{\vartheta}(T)\bigr)^2 + \operatorname{Var}_{\vartheta}(T).}

In der Praxis kann eine Verzerrung zwei Ursachen haben:

• einen systematischen Fehler, beispielsweise ein nicht-zufälliger Messfehler in der Apparatur, oder
• einen zufälligen Fehler, dessen Erwartungswert ungleich Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 0} ist.

Zufällige Fehler können tolerabel sein, wenn sie dazu beitragen, dass der Schätzer eine kleinere minimale quadratische Abweichung als ein unverzerrter besitzt.

Asymptotische Erwartungstreue

→ Hauptartikel: Asymptotische Erwartungstreue

In der Regel ist es nicht von Bedeutung, dass ein Schätzer erwartungstreu ist. Die meisten Resultate der mathematischen Statistik gelten erst asymptotisch, also wenn der Stichprobenumfang ins Unendliche wächst. Daher ist es in der Regel ausreichend, wenn Erwartungstreue im Grenzwert gilt, d. h. für eine Folge von Schätzern Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T_n} die Konvergenzaussage Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \textstyle \lim_{n \rightarrow \infty} \operatorname E_{\vartheta}(T_n) = \gamma(\vartheta)} gilt.

Weiteres Beispiel: Stichprobenvarianz im Normalverteilungsmodell

Ein typisches Beispiel sind Schätzer für die Parameter von Normalverteilungen. Man betrachtet in diesem Fall die parametrische Familie

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P_{\vartheta}, \; \vartheta \in \Theta} mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta = (\mu, \sigma^2)} und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Theta = \mathbb R \times \mathbb R^{+}} ,

wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P_{\vartheta}} die Normalverteilung mit Erwartungswert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mu} und Varianz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma^2} ist. Üblicherweise sind Beobachtungen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X_1, \dotsc, X_n} gegeben, die stochastisch unabhängig sind und jeweils die Verteilung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P_{\vartheta}} besitzen.

Wie bereits gesehen, ist das Stichprobenmittel Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{X}_n} ein erwartungstreuer Schätzer von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \gamma_1(\vartheta) = \mu} .

Für die Varianz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \gamma_2(\vartheta) = \sigma^2} erhält man als Maximum-Likelihood-Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \textstyle s_n^2 = \frac 1n \sum_{i=1}^n (X_i - \overline{X}_n)^2} . Dieser Schätzer ist allerdings nicht erwartungstreu, da sich Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \textstyle \operatorname E(s_n^2) = \frac{n-1}{n} \sigma^2} zeigen lässt (siehe Stichprobenvarianz (Schätzfunktion)#Erwartungstreue). Die Verzerrung beträgt also Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \textstyle \operatorname E(s_n^2) - \sigma^2 = -\frac{1}{n} \sigma^2} . Da diese asymptotisch, also für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n \rightarrow \infty} , verschwindet, ist der Schätzer allerdings asymptotisch erwartungstreu.

Darüber hinaus kann man in diesem Fall den Erwartungswert der Verzerrung genau angeben und folglich die Verzerrung korrigieren, indem man mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tfrac{n}{n-1}} multipliziert (sog. Bessel-Korrektur), und erhält so einen Schätzer für die Varianz, der auch für kleine Stichproben erwartungstreu ist.

Im Allgemeinen ist es jedoch nicht möglich, die erwartete Verzerrung exakt zu bestimmen und somit vollständig zu korrigieren. Es gibt aber Verfahren, um die Verzerrung eines asymptotisch erwartungstreuen Schätzers für endliche Stichproben zumindest zu verringern, zum Beispiel die sogenannte Jackknife-Methode.

Aufbauende Begriffe

Ein erwartungstreuer Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } heißt ein regulärer erwartungstreuer Schätzer, wenn

${\frac {\partial }{\partial \vartheta }}\int T(x)\cdot f_{\vartheta }(x)\,dx=\int T(x)\cdot {\frac {\partial }{\partial \vartheta }}f_{\vartheta }(x)\,dx$

gilt. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f_\vartheta } bezeichnet hier die Dichtefunktion zum Parameter Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta } . Differentiation und Integration sollen also vertauschbar sein. Reguläre erwartungstreue Schätzer spielen eine wichtige Rolle in der Cramér-Rao-Ungleichung.

Verallgemeinerungen

Eine Verallgemeinerung der Erwartungstreue ist die L-Unverfälschtheit, sie verallgemeinert die Erwartungstreue mittels allgemeinerer Verlustfunktionen. Bei Verwendung des Gauß-Verlustes erhält man die Erwartungstreue als Spezialfall, bei Verwendung des Laplace-Verlustes die Median-Unverfälschtheit.

Literatur

• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik. de Gruyter Lehrbuch 2004, ISBN 3-11-018282-3.
• Herrmann Witting: Mathematische Statistik, Bd. 1. Parametrische Verfahren bei festem Stichprobenumfang. Vieweg+Teubner, Stuttgart 1985, ISBN 978-3-519-02026-4.
• M. Hardy: „An Illuminating Counterexample“ (PDF; 63 kB)
• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3. 
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.