Satz von Gauß-Markow

In der Stochastik ist der Satz von Gauß-Markow (in der Literatur ist auch die englische Transkription Markov zu finden, also Satz von Gauß-Markov) bzw. Satz von Gauß ein mathematischer Satz über die Klasse der linearen erwartungstreuen Schätzfunktionen. Er stellt eine theoretische Rechtfertigung der Methode der kleinsten Quadrate dar und ist nach den Mathematikern Carl Friedrich Gauß und Andrei Andrejewitsch Markow benannt. Es wird in neuer Zeit vorgeschlagen, dass der Satz einfach Satz von Gauß heißen sollte, da die Zuschreibung zu Markow auf einem Irrtum beruht (siehe #Geschichte). Der Satz besagt, dass in einem linearen Regressionsmodell, in dem die Störgrößen einen Erwartungswert von null und eine konstante Varianz haben sowie unkorreliert sind (Annahmen des klassischen linearen Regressionsmodells), der Kleinste-Quadrate-Schätzer – vorausgesetzt er existiert – ein bester linearer erwartungstreuer Schätzer, kurz BLES (englisch Best Linear Unbiased Estimator, kurz: BLUE) ist. Hierbei bedeutet der „beste“, dass er – innerhalb der Klasse der linearen erwartungstreuen Schätzer – die „kleinste“ Kovarianzmatrix aufweist und somit minimalvariant ist. Die Störgrößen müssen nicht notwendigerweise normalverteilt sein. Sie müssen im Fall der verallgemeinerten Kleinste-Quadrate-Schätzung auch nicht unabhängig und identisch verteilt sein.

Geschichte

Der Satz wurde im Jahr 1821 von Carl Friedrich Gauß bewiesen. Versionen seines Beweises wurden unter anderem von Helmert (1872), Czuber (1891) und Markow (1912) veröffentlicht. Jerzy Neyman, der die Arbeit von Gauß nicht kannte, benannte den Satz unter anderem nach Markow. Seitdem ist der Satz als Satz von Gauß-Markow bekannt. Da die heutige Bezeichnung vor allem auf der Unkenntnis Neymans von Gauß’ Beweis beruht, wird in neuer Zeit – vor allem in englischsprachiger Literatur – vorgeschlagen, den Satz allein nach Gauß zu benennen, etwa Satz von Gauß. Historische Informationen zum Satz von Gauß-Markow finden sich bei Seal (1967), Placket (1972), Stigler (1986) und in History of Mathematical Statistics from 1750 to 1930 von Hald (1998).

Formulierung des Satzes

In Worten lautet dieser Satz: Der Kleinste-Quadrate-Schätzer ist die beste lineare erwartungstreue Schätzfunktion, wenn die zufälligen Störgrößen (die folgenden Formeln beziehen sich auf die einfache lineare Regression):

• unkorreliert sind:

  $\operatorname {Cov} (\varepsilon _{i},\varepsilon _{j})=\mathbb {E} [(\varepsilon _{i}-\mathbb {E} (\varepsilon _{i}))(\varepsilon _{j}-\mathbb {E} (\varepsilon _{j}))]=\mathbb {E} (\varepsilon _{i}\varepsilon _{j})=0\quad \forall i\neq j,\;i=1,\dotsc ,n,\;j=1,\dotsc ,n$.

unabhängige Zufallsvariablen sind immer auch unkorreliert. Man spricht in diesem Zusammenhang auch von Abwesenheit von Autokorrelation.

• im Mittel Null sind: Wenn das Modell einen – von Null verschiedenen – Achsenabschnitt enthält, ist es vernünftig dass man zumindest fordert dass der Mittelwert von $\varepsilon _{i}$ in der Grundgesamtheit Null ist und sich die Schwankungen der einzelnen Störgrößen über die Gesamtheit der Beobachtungen ausgleichen. Mathematisch bedeutet das, dass der Erwartungswert der Störgrößen Null ist $\operatorname {E} (\varepsilon _{i})=0\quad ,i=1,\ldots ,n$. Diese Annahme macht keine Aussage über den Zusammenhang zwischen $x$ und $\varepsilon$, sondern gibt lediglich eine Aussage über die Verteilung der unsystematischen Komponente in der Grundgesamtheit. Dies bedeutet, dass das betrachte Modell im Mittel dem wahren Zusammenhang entspricht. Wäre der Erwartungswert nicht Null, dann würde man im Mittel einen falschen Zusammenhang schätzen. Zur Verletzung dieser Annahme kann es kommen, wenn eine relevante Variable im Regressionsmodell nicht berücksichtigt wurde (siehe Verzerrung durch ausgelassene Variablen).
• eine endliche konstante Varianz haben (Homoskedastizität):$\forall i:\operatorname {Var} (\varepsilon _{i})=\operatorname {Var} (Y_{i})=\sigma ^{2}=\mathrm {konst.} <\infty$

wenn die Varianz der Residuen (und somit die Varianz der erklärten Variablen selbst) für alle Ausprägungen der Regressoren gleich ist, liegt Homoskedastizität bzw. Varianzhomogenität vor.

Alle oben genannten Annahmen über die Störgrößen lassen sich so zusammenfassen:

$\forall i:\varepsilon _{i}\;{\sim }\;(0,\sigma ^{2})$,

das heißt alle Störgrößen folgen der Verteilung $\varepsilon _{i}\;{\sim }\;(0,\sigma ^{2})$ mit Erwartungswert $\mathbb {E} (\varepsilon _{i})=0$ und der Varianz $\operatorname {Var} (\varepsilon _{i})=\sigma ^{2}$. Hierbei ist die Verteilung anfangs nicht näher spezifiziert.

Diese Annahmen werden auch als Gauß-Markow-Annahmen bezeichnet. In der Ökonometrie wird der Satz von Gauß-Markow oft abweichend dargestellt und es werden weitere Annahmen getroffen.

Allgemeine Formulierung des Satzes von Gauß-Markow (regulärer Fall)

Als Ausgangslage betrachten wir ein typisches multiples lineares Regressionsmodell mit gegebenen Daten $\{y_{i},x_{ij}\}_{i=1,\dots ,n;j=1,\dots ,k}$ für $n$ statistische Einheiten und $k$ Regressoren. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden

$y_{i}=\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\ldots +x_{ik}\beta _{k}+\varepsilon _{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+\varepsilon _{i},\quad i=1,2,\dotsc ,n$.

In Matrixnotation auch

${\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}_{(n\times 1)}\quad =\quad {\begin{pmatrix}1&x_{11}&x_{12}&\cdots &x_{1k}\\1&x_{21}&x_{22}&\cdots &x_{2k}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&x_{n2}&\cdots &x_{nk}\end{pmatrix}}_{(n\times p)}\quad \cdot \quad {\begin{pmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{k}\end{pmatrix}}_{(p\times 1)}\quad +\quad {\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}_{(n\times 1)}$

mit $p=k+1$. In kompakter Schreibweise

$\mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}$.

Hier stellt ${\boldsymbol {\beta }}$ einen Vektor von unbekannten Parametern dar (bekannt als Regressionskoeffizienten), die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Störgrößen im Mittel Null sind: $\mathbb {E} [{\boldsymbol {\boldsymbol {\varepsilon }}}]=\mathbf {0}$, was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist. Hierbei nimmt man von der Datenmatrix $\mathbf {X} \in \mathbb {R} ^{n\times p}$ an, dass sie vollen (Spalten-)Rang hat, das heißt, es gilt ${\mbox{Rang}}(\mathbf {X} )=p$. Insbesondere ist dann $\mathbf {X} ^{\top }\mathbf {X}$ eine reguläre, also invertierbare Matrix. Deshalb spricht man hier vom regulären Fall (s. Überschrift). Ferner nimmt man für die Kovarianzmatrix des Vektors der Störgrößen an, dass ${\mbox{Cov}}({\boldsymbol {\varepsilon }})=\mathbb {E} \left({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\right)=\sigma ^{2}\mathbf {I} _{n}$ gilt. Die Gauß-Markow-Annahmen lassen sich im multiplen Fall also zusammenfassen als

${\boldsymbol {\varepsilon }}\;\sim \;(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{n})$

wobei der Erwartungswert der Störgrößen der Nullvektor $\mathbf {0}$ und die Kovarianzmatrix den Erwartungswert des dyadischen Produkts der Störgrößen

$\mathbf {\Sigma } =\mathbb {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })={\begin{pmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&\sigma ^{2}\end{pmatrix}}_{(n\times n)}=\sigma ^{2}\mathbf {I} _{n}$ darstellt.

Diese Annahme ist die Homoskedastizitätsannahme im multiplen Fall. Durch obige Spezifikation des linearen Modells erhält man damit für den Zufallsvektor $\mathbf {y}$

$\mathbf {y} \;\sim \;(\mathbf {X} {\boldsymbol {\beta }},\sigma ^{2}\mathbf {I} _{n})$.

Durch diese Annahmen erhält man:

1. Dass der Kleinste-Quadrate-Schätzer für den wahren Parametervektor ${\boldsymbol {\beta }}$, der $\mathbf {b} =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y}$ lautet, ein minimalvarianter linearer erwartungstreuer Schätzer für ${\boldsymbol {\beta }}$ ist.
2. Dass die Kovarianzmatrix des Kleinste-Quadrate-Schätzers ${\mbox{Cov}}(\mathbf {b} )=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}$ ist.
3. Dass die geschätzte Varianz der Störgrößen ${\hat {\sigma }}^{2}={\frac {{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{n-p}}$ ein erwartungstreuer Schätzer für die unbekannte Varianz der Störgrößen $\sigma ^{2}$ ist.

Minimalvarianter linearer erwartungstreuer Schätzer

Minimalvarianter

Der minimalvariante, bzw. „der Beste“ Schätzer zeichnet sich dadurch aus, dass er die „kleinste“ Kovarianzmatrix (bzgl. der Loewner-Halbordnung) aufweist (ist somit minimalvariant). Ein Schätzer der diese Eigenschaft aufweist wird deshalb auch minimalvarianter oder effizienter Schätzer genannt. Bei zusätzlicher Annahme von Erwartungstreue spricht man auch vom minimalvarianten erwartungstreuen Schätzer.

Jeder Schätzer aus der Klasse der linearen erwartungstreuen Schätzer lässt sich darstellen als

${\overline {\boldsymbol {\beta }}}=\mathbf {A} \mathbf {y} \;$ (Linearität)

mit einer $(p\times n)$-Matrix $\mathbf {A}$. Ein Beispiel für einen Schätzer dieser Klasse ist der Kleinste-Quadrate-Schätzer $\mathbf {b}$.

Die Eigenschaft der Erwartungstreue besagt, dass die Schätzfunktion „im Mittel“ dem wahren Parametervektor entspricht

$\mathbb {E} ({\overline {\boldsymbol {\beta }}})={\boldsymbol {\beta }}$.

Unter den oben genannten Voraussetzungen gilt dann, für alle $(p\times 1)$ Vektoren $\mathbf {R} _{1}$, die Ungleichung:

$\operatorname {Var} (\mathbf {R} _{1}^{\top }\mathbf {b} )\;\leq \;\operatorname {Var} (\mathbf {R} _{1}^{\top }{\overline {\boldsymbol {\beta }}})$ (Effizienzeigenschaft),

wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf b } der Kleinste-Quadrate-Schätzer ist, also der Schätzer der mittels der Kleinste-Quadrate-Schätzung ermittelt wurde. Diese Effizienzeigenschaft kann auch umgeschrieben werden in

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf R^{\top}_1 \operatorname{Cov}[\mathbf b]\mathbf R_1 \;\leq\; \mathbf R^{\top}_1\operatorname{Cov}[\overline{ \boldsymbol \beta}]\mathbf R_1}

oder

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf R^{\top}_1\left(\operatorname{Cov}[\overline{ \boldsymbol \beta}]- \operatorname{Cov}[\mathbf b]\right)\mathbf R_1 \;\geq\;0} .

Diese Eigenschaft wird positive Semidefinitheit genannt (siehe auch Kovarianzmatrix als Effizienzkriterium). Wenn also obige Ungleichung zutrifft, dann kann man sagen, dass Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf b} besser ist als Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{ \boldsymbol \beta}} .

Linearität

Für den Kleinste-Quadrate-Schätzer gilt, dass er ebenfalls linear ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf b =\underbrace{(\mathbf{X}^{\top} \mathbf X )^{-1}\mathbf {X}^{\top} }_{:=\mathbf A} \mathbf y=\mathbf A \mathbf y} .

Die obige Ungleichung besagt, dass nach dem Satz von Gauß-Markow Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{b}} , ein bester linearer erwartungstreuer Schätzer, kurz BLES (englisch Best Linear Unbiased Estimator, kurz: BLUE) bzw. ein minimalvarianter linearer erwartungstreuer Schätzer ist, das heißt in der Klasse der linearen erwartungstreuen Schätzern ist er derjenige Schätzer, der die kleinste Varianz bzw. Kovarianzmatrix besitzt. Für diese Eigenschaft der Schätzfunktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{b}} braucht keine Verteilungsinformation der Störgröße vorzuliegen. Eine Steigerung der BLES-Eigenschaft stellt die sogenannte BES-Eigenschaft (BES für Bester erwartungstreuer Schätzer) dar, bei der eine Beschränkung auf lineare Schätzer nicht gegeben ist. Oft stellt der Maximum-Likelihood-Schätzer eine Lösung dar, die BES ist. Tatsächlich ist der Kleinste-Quadrate-Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{b}} bei normalverteilten Störgrößen ein Maximum-Likelihood-Schätzer und mit dem Satz von Lehmann-Scheffé kann die BES-Eigenschaft nachgewiesen werden.

Beweis

Gegeben, dass der wahre Zusammenhang durch ein lineares Modell beschrieben wird, gilt es den Kleinste-Quadrate-Schätzer mit allen anderen linearen Schätzern zu vergleichen. Um einen Vergleich anstellen zu können beschränkt man sich in der Analyse auf die Klasse der linearen und erwartungstreuen Schätzer. Jeder beliebige Schätzer dieser Klasse, neben dem Kleinste-Quadrate Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf b} , kann dargestellt werden als

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{\boldsymbol\beta} =\mathbf A\mathbf y \;} mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf A \ne \left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}} .

Falls Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf A = \left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}} erhält man den Kleinste-Quadrate-Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf b = (\mathbf{X}^\top \mathbf X )^{-1}\mathbf {X}^\top \mathbf y} . Die Klasse aller linearen Schätzer ist somit gegeben durch

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{\boldsymbol\beta} =\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\mathbf y +\mathbf A\mathbf y-\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\mathbf y=\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\mathbf y +\underbrace{(\mathbf A-\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top})}_{= \mathbf{C}}\mathbf y=\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\mathbf y+\mathbf{C}\mathbf y} , wobei die Matrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{C}} gegeben ist durch Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{C}=\mathbf A-\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}}

Nun gilt es Restriktionen für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{C}} zu finden die sicherstellen, dass Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{\boldsymbol\beta}} erwartungstreu für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol\beta} ist. Ebenfalls muss die Kovarianzmatrix von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{\boldsymbol\beta}} gefunden werden. Der Erwartungswert von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{\boldsymbol\beta}} ergibt

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} \mathbb{E}(\overline{\boldsymbol\beta})& =\mathbb{E}(\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}(\mathbf X \boldsymbol \beta + \boldsymbol \varepsilon) +\mathbf{C}(\mathbf X \boldsymbol \beta + \boldsymbol \varepsilon))\\&=\mathbb{E}(\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\mathbf X \boldsymbol \beta+\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\boldsymbol \varepsilon+ \mathbf{C}\mathbf X \boldsymbol \beta +\mathbf{C}\boldsymbol \varepsilon)\\&=\boldsymbol \beta + \left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\underbrace{\mathbb{E}( \boldsymbol\varepsilon)}_{= \mathbf{0}}+ \mathbf{C}\mathbf X \boldsymbol \beta +\mathbf{C}\underbrace{\mathbb{E}(\boldsymbol \varepsilon)}_{= \mathbf{0}} \\&=\boldsymbol \beta + \mathbf{C}\mathbf X \boldsymbol \beta \end{align}}

D. h. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{\boldsymbol\beta}} ist dann und nur dann erwartungstreu für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol\beta} , wenn Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{C}\mathbf X = \mathbf{0}} , also gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbb{E}(\overline{\boldsymbol\beta})=\boldsymbol\beta\Longleftrightarrow \mathbf{C}\mathbf X = \mathbf{0}} .

Es folgt für die Kovarianzmatrix von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline{\boldsymbol\beta}} :

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align}\mathbf{\Sigma}_{\overline{\boldsymbol\beta}}& =\operatorname{Cov}(\overline{\boldsymbol\beta}) =\mathbb{E}\left\{ \left[\overline{\boldsymbol\beta}-\mathbb{E}(\overline{\boldsymbol\beta})\right]\left[\overline{\boldsymbol\beta}-\mathbb{E}(\overline{\boldsymbol\beta})\right]^{\top}\right\}\\&=\mathbb{E}\left\{\left[\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\boldsymbol \varepsilon+\mathbf{C}\boldsymbol \varepsilon\right]\left[\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\boldsymbol \varepsilon+\mathbf{C}\boldsymbol \varepsilon\right]^{\top}\right\}\\&=\mathbb{E}\left\{\left[\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top}\boldsymbol \varepsilon \boldsymbol \varepsilon^{\top}\mathbf{X}\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1}+\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1}\mathbf{X}^{\top}\boldsymbol \varepsilon \boldsymbol \varepsilon^{\top}\mathbf{C}^{\top}+\mathbf{C}\boldsymbol\varepsilon \boldsymbol \varepsilon^{\top}\mathbf{X}\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1}+ \mathbf{C}\boldsymbol\varepsilon \boldsymbol \varepsilon^{\top} \mathbf{C}^{\top} \right]\right\}\\&=\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1} \mathbf{X}^{\top} \sigma^2 \mathbf I_n \mathbf{X}\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1}+\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1}\mathbf{X}^{\top} \sigma^2 \mathbf I_n\mathbf{C}^{\top}+\mathbf{C} \sigma^2 \mathbf I_n\mathbf{X}\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1}+ \mathbf{C}\boldsymbol \sigma^2 \mathbf I_n \mathbf{C}^{\top}\\&=\sigma^2 \left[\left(\mathbf{X}^{\top} \mathbf{X} \right)^{-1}+ \mathbf{C} \mathbf{C}^{\top}\right]\end{align}}

Daraus folgt

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{\Sigma}_{\overline{\boldsymbol\beta}} -\mathbf{\Sigma}_{\mathbf{b}}= \sigma^2 \mathbf{C} \mathbf{C}^{\top}}

Diese Matrix wird immer positiv semidefinit sein, – unabhängig wie Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{C}} definiert ist – da eine Matrix multipliziert mit ihrer eigenen Transponierten immer positiv semidefinit ist.

Singulärer Fall, schätzbare Funktionen

Wir betrachten nun den sog. singulären Fall, d. h. es gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mbox{Rang}(\mathbf{X})<p \;} . Dann ist auch Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}^{\top} \mathbf{X}} nicht von vollem Rang, also nicht invertierbar. Der oben angegebene Kleinste-Quadrate-Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf b} existiert nicht. Man sagt, Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\beta}} ist nicht schätzbar bzw. nicht identifizierbar.

Der singuläre Fall tritt dann ein, wenn Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n<p} , oder wenn nur in Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle q<p} verschiedenen Regressoreinstellungen beobachtet wird, oder wenn lineare Abhängigkeiten in der Datenmatrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} vorliegen.

Sei nun Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mbox{Rang}(\mathbf{X})=m<p} . Dann sind bestenfalls Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle m} -dimensionale Linearformen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\gamma}=\mathbf{A}\boldsymbol{\beta}} linear und erwartungstreu schätzbar, wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{A}} eine Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (m \times p)} -Matrix ist.

Schätzbarkeitskriterium

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\gamma}=\mathbf{A}\boldsymbol{\beta}} mit einer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (s \times p)} -Matrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{A},s\leq m} ist schätzbar genau dann, wenn es eine Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (s \times n)} -Matrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{C}} gibt, so dass Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{C}\mathbf{X}=\mathbf{A}} gilt, d. h. wenn jeder Zeilenvektor von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{A}} eine Linearkombination der Zeilenvektoren von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} ist. Siehe z. B.

Wesentlich eleganter kann das Schätzbarkeitskriterium mit Pseudoinversen formuliert werden. Dabei heißt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{B}^-} Pseudoinverse von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{B}} , wenn Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{B}\mathbf{B}^-\mathbf{B}=\mathbf{B}} gilt.

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\gamma}=\mathbf{A}\boldsymbol{\beta}} mit einer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (s \times p)} -Matrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{A},s\leq m} ist schätzbar genau dann, wenn Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{A}(\mathbf{X}^{\top}\mathbf{X})^-\mathbf{X}^{\top}\mathbf{X}=\mathbf{A}} . Dabei ist Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (\mathbf{X}^{\top}\mathbf{X})^-} eine beliebige Pseudoinverse von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}^{\top}\mathbf{X}} . Siehe z. B.

Beispiel

Für die quadratische Regressionsgleichung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \ y=\beta_0+\beta_1 x+ \beta_2x^2+\varepsilon\ } wurden Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \ n=4\ } Beobachtungen bei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \ x_1=0,\ x_2=0,\ x_3=1,\ x_4=1\ } durchgeführt. Damit ergibt sich

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}=\begin{pmatrix} 1 & 0 & 0\\ 1 & 0 & 0\\ 1 & 1 & 1\\ 1 & 1 & 1 \end{pmatrix}\ ;\ \operatorname{Rang}(\mathbf{X}) = 2} .

Dann ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\gamma}= \begin{pmatrix} \beta_0\\ \beta_1+\beta_2 \end{pmatrix}= \mathbf{A}\boldsymbol{\beta}\ ;\ \mathbf{A}= \begin{pmatrix} 1 & 0 & 0\\ 0 & 1 & 1 \end{pmatrix}\ ;\ \boldsymbol{\beta}= \begin{pmatrix} \beta_0\\ \beta_1\\ \beta_2 \end{pmatrix}}

schätzbar, weil die Zeilenvektoren von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{A}} Linearkombinationen der Zeilenvektoren von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} sind. Beispielsweise ist der zweite Zeilenvektor von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{A}} gleich der Differenz aus drittem und erstem Zeilenvektor von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} .

Hingegen ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\gamma}= \begin{pmatrix} \beta_0+\beta_1\\ \beta_2 \end{pmatrix}= \mathbf{A}\boldsymbol{\beta}\ ;\ \mathbf{A}= \begin{pmatrix} 1 & 1 & 0\\ 0 & 0 & 1 \end{pmatrix}}

nicht schätzbar, weil sich keiner der Zeilenvektoren von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{A}} als Linearkombination der der Zeilenvektoren von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} darstellen lässt.

Satz von Gauß-Markow im singulären Fall

Sei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\gamma}=\mathbf{A}\boldsymbol{\beta}} schätzbar. Dann ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{g}=\mathbf{A}(\mathbf{X}^{\top}\mathbf{X})^-\mathbf{X}^{\top}\boldsymbol{y}}

bester linearer erwartungstreuer Schätzer für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\gamma}} , wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (\mathbf{X}^{\top}\mathbf{X})^-} eine beliebige Pseudoinverse zu Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}^{\top}\mathbf{X}} ist.

Der Schätzer Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{g}} kann auch ohne Pseudoinverse ausgedrückt werden:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{g}=\mathbf{A}\boldsymbol{b}}

Dabei ist Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{b}} eine beliebige Lösung des Normalgleichungssystems Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}^{\top}\mathbf{X}\boldsymbol{b}=\mathbf{X}^{\top}\boldsymbol{y}} .

Verallgemeinerte Kleinste-Quadrate-Schätzung

Die verallgemeinerte Kleinste-Quadrate-Schätzung (VKQ-Schätzung), die von Aitken entwickelt wurde, erweitert der Satz von Gauß-Markow auf den Fall, bei dem der Vektor der Störgrößen eine nichtskalare Kovarianzmatrix hat, d. h. es gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{\Sigma} \ne \sigma^2 \mathbf I_n} . Der VKQ-Schätzer ist ebenfalls BLUE.

Siehe auch

• Bester erwartungstreuer Schätzer (BES)
• Beste Linearen Erwartungstreue Vorhersage (BLEV)
• Gleichmäßig bester erwartungstreuer Schätzer
• Lokal minimaler Schätzer

Weblinks

• Carolus Fridericus Gauss: Theoria combinationis observationum erroribus minimis obnoxiae. In: Commentationes Societatis Regiae Scientiarum Gottingensis recentiores – Classis Physicae, Band 5 (1819–1822), Henricus Dieterich, Göttingen 1823, S. 33–90 (Göttinger Digitalisierungszentrum).
• A. A. Markoff: Wahrscheinlichkeitsrechnung. 2. Auflage, 1912 (Cornell University Library); siehe insb. Kapitel 7
• Earliest Known Uses of Some of the Words of Mathematics (G) zur Herkunft des Namens

Literatur

• George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapore, ISBN 978-0471624141, second edition 1988