Schätzung der Varianz einer Schätzfunktion

Als Schätzung der Varianz einer Schätzfunktion wird in der Statistik die Schätzung der Varianz einer Schätzfunktion, eines unbekannten Parameter der Grundgesamtheit bezeichnet. Diese Schätzung ist eine Methode zur Messung der Genauigkeit von Schätzverfahren. Sie erlaubt die Konstruktion von Konfidenzintervallen (Intervallschätzung).

Hat man eine Schätzfunktion ${\hat {\theta }}$ für einen unbekannten Parameter $\theta$ der Grundgesamtheit, so hat man zunächst nur eine Punktschätzung ${\hat {\vartheta }}$ für diesen. Man ist jedoch daran interessiert, auch Konfidenzintervalle für den geschätzten Parameter anzugeben, d. h. man muss die Verteilung und die Varianz von ${\hat {\theta }}$ kennen.

Dies ist jedoch nicht immer möglich und deswegen gibt es verschiedene Verfahren:

• direkte Verfahren auf Basis der Likelihood-Funktion,
• lineare Approximation der log-Likelihood-Funktion und
• Resampling-Methoden.

Wurde die Schätzfunktion ${\hat {\theta }}$ mit Hilfe der Maximum-Likelihood-Methode berechnet, so weiß man über das asymptotische Konvergenzverhalten:

• $\lim _{n\to \infty }{\hat {\theta }}\longrightarrow {\mathcal {N}}(\theta ;\Sigma _{\hat {\theta }})$ Konvergenz in Verteilung sowie
• $\lim _{n\to \infty }Var({\hat {\theta }})\longrightarrow {\mathcal {I}}^{-1}(\theta )=\Sigma _{\hat {\theta }}$

mit $\Sigma _{\hat {\theta }}$ die Kovarianzmatrix der Schätzfunktion(en) ${\hat {\theta }}$ und $I(\theta )$ die Fisher-Informationsmatrix.

Bei bekannter Verteilung

Lässt sich die Verteilung von ${\hat {\theta }}$ zumindest näherungsweise bestimmen, beispielsweise mit Hilfe des zentralen Grenzwertsatzes, so lässt sich die Varianz leicht schätzen.

Ein Beispiel ist der Stichprobenmittelwert ${\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$ (einer normalverteilten Grundgesamtheit bzw. bei Gültigkeit des zentralen Grenzwertsatzes bei einer beliebigen Verteilung in der Grundgesamtheit):

${\bar {X}}\sim {\mathcal {N}}\left(\mu ;{\frac {\sigma ^{2}}{n}}\right),$

siehe auch Standardfehler des Stichprobenmittelwertes.

Daraus lässt sich das Konfidenzintervall ableiten

$P\left({\bar {X}}-z_{1-\alpha /2}{\frac {\sigma }{\sqrt {n}}}\leq \mu \leq {\bar {X}}+z_{1-\alpha /2}{\frac {\sigma }{\sqrt {n}}}\right)\approx 1-\alpha$

mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle z_{1-\alpha/2}} aus der Standardnormalverteilung.

Direkte Verfahren

Bei direkten Verfahren nutzt man die Darstellung

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Var}(\hat{\theta}) = E[(\hat{\theta}-\theta)^2] = \int (\hat{\theta}-\theta)^2 L(x_1, \ldots, x_n|\theta) dx_1 \ldots dx_n} bzw. multivariat Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma_{ij}(\hat{\theta}) = \int (\hat{\theta}_i-\theta_i) (\hat{\theta}_j-\theta_j) L(x_1, \ldots, x_n|\theta) dx_1 \ldots dx_n}

Darauf basierende Varianzschätzungen kann man meist nur bei einfachen Punktschätzern angeben. Hier werden Approximationsformeln nur bei Stichprobendesigns mit Inklusionswahrscheinlichkeiten zweiter Ordnung benötigt. Exakte Methoden, das heißt einfach auszurechnende Formeln können im Fall eines Linearen Schätzers angegeben werden.

Jedoch sind weder der wahre Parameter Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \theta} noch die Funktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle L(x_1, \ldots, x_n|\theta)} bekannt. Daher werden die Schätzwerte und die normierte Likelihood-Funktion als Wahrscheinlichkeitsdichte für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \theta} genutzt:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \widehat{\operatorname{Var}}(\hat{\theta}) = \frac{\int (\theta-\hat{\vartheta})^2 L(x_1, \ldots, x_n|\theta) d\theta}{\int L(x_1, \ldots, x_n|\theta) d\theta}} bzw. multivariat ${\hat {\sigma }}_{ij}({\hat {\theta }})={\frac {\int (\theta _{i}-{\hat {\vartheta }}_{i})(\theta _{j}-{\hat {\vartheta }}_{j})L(x_{1},\ldots ,x_{n}|\theta )d\theta _{1}\ldots d\theta _{m}}{\int L(x_{1},\ldots ,x_{n}|\theta )d\theta _{1}\ldots d\theta _{m}}}$

Die Schätzung erfolgt dann mit Hilfe numerischer Integration.

Lineare Approximation

Bei nicht-linearen Schätzern (z. B. einem Ratio-Schätzer) kommen approximative Methoden zum Einsatz. Kann man die log-Likelihood-Funktion mit der Taylorapproximation um das Maximum entwickeln

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \log(L(x_1,\ldots,x_n|\theta)) \approx \log(\underbrace{L(x_1,\ldots,x_n|\hat{\vartheta})}_{=L_{max}}) + \underbrace{\left(\theta-\hat{\vartheta}\right) \left.\frac{\partial \log(L)}{\partial\theta}\right|_{\theta=\hat{\vartheta}}}_{=0} + \tfrac12 \left(\theta-\hat{\vartheta}\right)^2 \left.\frac{\partial^2 \log(L)}{\partial\theta^2}\right|_{\theta=\hat{\vartheta}}}

und unter Ausnutzung der Definition der Fisher-Informationsmatrix

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \log(L(x_1,\ldots,x_n|\theta)) \approx\log(L_{max}) - \tfrac12 \left(\theta-\hat{\vartheta}\right)^2 \sigma_{\hat{\theta}}^{-1}}

folgt

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{\sigma}_{\hat{\theta}} = \left(-\left.\frac{\partial^2 \log(L)}{\partial\theta^2}\right|_{\theta=\hat{\vartheta}}\right)^{-1}} .

Alternativ können durch die Woodruff-Linearisierung nicht-lineare Schätzer zu linearen umgewandelt werden.

Resampling-Methoden

Eine weitere Möglichkeit stellen Resamplingmethoden wie beispielsweise das Bootstrapping-Verfahren dar. Hierbei werden Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle B} Substichproben zufällig aus der vorhandenen Stichprobe gezogen und mit diesen ein Schätzwert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{\vartheta}^{(i)}} berechnet. Diese Schätzwerte sind eine empirische Approximation an die unbekannte Verteilung von ${\hat {\theta }}$.

Stichprobe:	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_1, \ldots x_n}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \longrightarrow \hat{\vartheta}}
Stichprobenwiederholung 1:	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_1^{(1)}, \ldots x_n^{(1)}}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \longrightarrow \hat{\vartheta}^{(1)}}
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vdots}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vdots}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vdots}
Stichprobenwiederholung B:	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_1^{(B)}, \ldots x_n^{(B)}}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \longrightarrow \hat{\vartheta}^{(B)}}

Daher ergibt sich

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \widehat{\operatorname{Var}}(\hat{\theta}) = \frac{1}{B-1} \sum_{i=1}^B \left(\hat{\vartheta}^{(i)} - \bar{\vartheta}\right)^2}

mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \bar{\vartheta} = \frac1B \sum_{i=1}^B \hat{\vartheta}^{(i)}} . Bei der Schätzung kann das Stichprobendesign durch Gewichtung berücksichtigt werden.