Kovarianzmatrix

Eine um Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (0; 0)} zentrierte zweidimensionale Gauß-Verteilung, mit der Kovarianzmatrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{\Sigma} = \begin{pmatrix} 1 & 0{,}5 \\ 0{,}5 &1 \end{pmatrix}}

In der Stochastik ist die Kovarianzmatrix die Verallgemeinerung der Varianz einer eindimensionalen Zufallsvariable auf eine mehrdimensionale Zufallsvariable, d. h. auf einen Zufallsvektor. Die Elemente auf der Hauptdiagonalen der Kovarianzmatrix stellen die jeweiligen Varianzen dar, und alle übrigen Elemente Kovarianzen. Die Kovarianzmatrix wird auch Varianz-Kovarianzmatrix oder selten Streuungsmatrix bzw. Dispersionsmatrix (lateinisch dispersio „Zerstreuung“, von dispergere „verteilen, ausbreiten, zerstreuen“) genannt und ist eine positiv semidefinite Matrix. Sind alle Komponenten des Zufallsvektors Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} linear unabhängig, so ist die Kovarianzmatrix positiv definit.

Definition

Sei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} ein Zufallsvektor

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X} = \begin{pmatrix} X_1 \\ X_2 \\ \vdots \\ X_n \end{pmatrix}} ,

wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{E}(X_i)=\mu_i} den Erwartungswert von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X_i} , $\operatorname {Var} (X_{i})=\sigma _{i}^{2}$ die Varianz von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X_i} und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(X_i,X_j)=\sigma_{ij}\;,i\ne j} die Kovarianz der reellen Zufallsvariablen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X_i} und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X_j} darstellt. Der Erwartungswertvektor von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} ist dann gegeben durch (siehe Erwartungswert von Matrizen und Vektoren)

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{E}(\mathbf{X}) = \operatorname{E}\begin{pmatrix} X_1 \\ X_2 \\ \vdots \\ X_n \end{pmatrix}= \begin{pmatrix} \mu_1 \\ \mu_2 \\ \vdots \\ \mu_n \end{pmatrix}=\boldsymbol \mu} ,

d. h. der Erwartungswert des Zufallsvektors ist der Vektor der Erwartungswerte. Eine Kovarianzmatrix für den Zufallsvektor $\mathbf {X}$ lässt sich wie folgt definieren:^[1]

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} \operatorname{Cov}(\mathbf{X}) & = \operatorname{E}\left((\mathbf X-\boldsymbol \mu)(\mathbf X-\boldsymbol \mu)^{\top}\right)\\ \\&=\operatorname{E}\begin{pmatrix} (X_1 - \mu_1)^2 & (X_1 - \mu_1)(X_2 - \mu_2) & \cdots & (X_1 - \mu_1)(X_n - \mu_n) \\ \\ (X_2 - \mu_2)(X_1 - \mu_1) & (X_2 - \mu_2)^2 & \cdots & (X_2 - \mu_2)(X_n - \mu_n) \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ (X_n - \mu_n)(X_1 - \mu_1) & (X_n - \mu_n)(X_2 - \mu_2) & \cdots & (X_n - \mu_n)^2 \end{pmatrix} \\ \\ & = \begin{pmatrix}\operatorname{Var}(X_1) & \operatorname{Cov}(X_1,X_2) & \cdots & \operatorname{Cov}(X_1,X_n) \\ \\ \operatorname{Cov}(X_2,X_1) & \operatorname{Var}(X_2) & \cdots & \operatorname{Cov}(X_2,X_n) \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \operatorname{Cov}(X_n,X_1) & \operatorname{Cov}(X_n,X_2) & \cdots & \operatorname{Var}(X_n) \end{pmatrix} \\ \\ & = \begin{pmatrix} \sigma^2_1 & \sigma_{12} & \cdots & \sigma_{1n} \\ \\ \sigma_{21} & \sigma^2_2 & \cdots & \sigma_{2n} \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \sigma_{n1} & \sigma_{n2} & \cdots & \sigma^2_n \end{pmatrix} \\ \\ & = \mathbf \Sigma \end{align}}

Die Kovarianzmatrix wird mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\mathbf{X})} , oder Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf \Sigma_X} notiert und die Kovarianzmatrix der asymptotischen Verteilung einer Zufallsvariablen mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\operatorname{V}}} oder Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline \boldsymbol{\operatorname{V}}} . Die Kovarianzmatrix und der Erwartungswertvektor sind die wichtigsten Kenngrößen einer Wahrscheinlichkeitsverteilung. Sie werden bei einer Zufallsvariablen als Zusatzinformationen wie folgt angegeben: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X \; \sim \; (\boldsymbol \mu,\mathbf \Sigma)} . Die Kovarianzmatrix als Matrix aller paarweisen Kovarianzen der Elemente des Zufallsvektors enthält Informationen über seine Streuung und über Korrelationen zwischen seinen Komponenten. Wenn keine der Zufallsvariablen $X_{1},\ldots ,X_{n}$ degeneriert ist (d. h. wenn keine von ihnen eine Varianz von Null aufweist) und kein exakter linearer Zusammenhang zwischen den Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X_i} vorliegt, dann ist die Kovarianzmatrix positiv definit.^[2] Man spricht außerdem von einer skalaren Kovarianzmatrix, wenn alle Außerdiagonaleinträge der Matrix Null sind und die Diagonalelemente dieselbe positive Konstante darstellen.^[3]

Eigenschaften

Grundlegende Eigenschaften

Für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle i=j} gilt: $\operatorname {Cov} (X_{i},X_{j})=\operatorname {Var} (X_{i})$ . Somit enthält die Kovarianzmatrix auf der Hauptdiagonalen die Varianzen der einzelnen Komponenten des Zufallsvektors. Alle Elemente auf der Hauptdiagonalen sind daher nichtnegativ.
Eine reelle Kovarianzmatrix ist symmetrisch, da die Kovarianz zweier Zufallsvariablen symmetrisch ist.
Die Kovarianzmatrix ist positiv semidefinit: Aufgrund der Symmetrie ist jede Kovarianzmatrix mittels Hauptachsentransformation diagonalisierbar, wobei die Diagonalmatrix wieder eine Kovarianzmatrix ist. Da auf der Diagonale nur Varianzen stehen, ist die Diagonalmatrix folglich positiv semidefinit und somit auch die ursprüngliche Kovarianzmatrix.
Umgekehrt kann jede symmetrische positiv semidefinite Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle d\times d} -Matrix als Kovarianzmatrix eines Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle d} -dimensionalen Zufallsvektors aufgefasst werden.
Aufgrund der Diagonalisierbarkeit, wobei die Eigenwerte (auf der Diagonale) wegen der positiven Semidefinitheit nicht-negativ sind, können Kovarianzmatrizen als Ellipsoide dargestellt werden.
Für alle Matrizen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf A\in\R^{m\times n}} gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\mathbf A\mathbf X) = \operatorname{E}\Big(\mathbf A (\mathbf X - \operatorname{E}(\mathbf X))(\mathbf X - \operatorname{E}(\mathbf X))^\top \mathbf A^\top\Big) = \mathbf A \operatorname{Cov}(\mathbf X)\ \mathbf A^{\top}} .
Für alle Vektoren $\mathbf {b} \in \mathbb {R} ^{n}$ gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\mathbf X+\mathbf b) = \operatorname{Cov}(\mathbf X)} .
Sind Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf X} und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf Y} unkorrelierte Zufallsvektoren, dann gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\mathbf X+\mathbf Y) = \operatorname{Cov}(\mathbf X)+\operatorname{Cov}(\mathbf Y)} .
Sind die Elemente $X_{i}$ von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf X} unkorreliert, so gilt $\operatorname {Cov} (\mathbf {X} )=\operatorname {diag} (\sigma _{1}^{2},\sigma _{2}^{2},\dots ,\sigma _{n}^{2})$ , d. h. die Kovarianzmatrix ist eine Diagonalmatrix.
Man erhält mit der Diagonalmatrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{D}= \left(\operatorname{diag}(\boldsymbol{\Sigma})\right)^{1/2} = \operatorname{diag} (\sigma_1, \sigma_2, \dotsc, \sigma_n)} die Kovarianzmatrix durch die Beziehung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol{\Sigma} = \mathbf{D} \, \mathbf{P} \, \mathbf{D}} , wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{P}} die Korrelationsmatrix in der Grundgesamtheit darstellt
Sind die Zufallsvariablen standardisiert, so enthält die Kovarianzmatrix gerade die Korrelationskoeffizienten und man erhält die Korrelationsmatrix
Die Inverse der Kovarianzmatrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{P} = \mathbf{\Sigma}^{-1}} heißt Präzisionsmatrix oder Konzentrationsmatrix
Die Determinante der Kovarianzmatrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{vmatrix} \mathbf{\Sigma}\end{vmatrix}} wird verallgemeinerte Varianz genannt und ist ein Maß für die Gesamtstreuung eines multivariaten Datensatzes
Für die Spur der Kovarianzmatrix gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Spur}(\mathbf{\Sigma})=\sum\nolimits_{i=1}^n \sigma^2_i}
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\mathbf X +\mathbf Y, \mathbf Z) = \operatorname{Cov}(\mathbf X, \mathbf Z) + \operatorname{Cov}(\mathbf Y, \mathbf Z)}

Beziehung zum Erwartungswert des Zufallsvektors

Ist ${\boldsymbol {\mu }}=\operatorname {E} (\mathbf {X} )$ der Erwartungswertvektor, so lässt sich mit dem Verschiebungssatz von Steiner angewandt auf mehrdimensionale Zufallsvariablen zeigen, dass

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} \operatorname{Cov}(\mathbf X) & = \operatorname{E}\bigl((\mathbf X - \boldsymbol \mu)(\mathbf X - \boldsymbol \mu)^{\top}\bigr)\\ & = \operatorname{E}(\mathbf X \mathbf X^{\top}) -\boldsymbol \mu\boldsymbol \boldsymbol\mu^{\top} \end{align}} .

Hierbei sind Erwartungswerte von Vektoren und Matrizen komponentenweise zu verstehen.

Ein Zufallsvektor, der einer gegebenen Kovarianzmatrix gehorchen und den Erwartungswert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol \mu} haben soll, kann wie folgt simuliert werden:
zunächst ist die Kovarianzmatrix zu zerlegen (z. B. mit der Cholesky-Zerlegung):

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\mathbf X) = \mathbf D \mathbf D^{\top}} .

Anschließend lässt sich der Zufallsvektor berechnen zu

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf X = \mathbf D \mathbf \xi + \boldsymbol \mu}

mit einem (anderen) Zufallsvektor Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf \xi} mit voneinander unabhängigen standardnormalverteilten Komponenten.

Kovarianzmatrix zweier Vektoren

Die Kovarianzmatrix zweier Vektoren lautet

{\displaystyle \operatorname {Cov} (\mathbf {x} ,\mathbf {y} )=\operatorname {E} {\bigl (}(\mathbf {x} -{\boldsymbol {\mu }})(\mathbf {y} -{\boldsymbol {\nu }})^{\top }{\bigr )}}

mit dem Erwartungswert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol \mu} des Zufallsvektors Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf x} und dem Erwartungswert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \boldsymbol\nu} des Zufallsvektors Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf y} .

Kovarianzmatrix als Effizienzkriterium

Die Effizienz bzw. Präzision eines Punktschätzers lässt sich mittels der Varianz-Kovarianzmatrix messen, da diese die Informationen über die Streuung des Zufallsvektors zwischen seinen Komponenten enthält. Im Allgemeinen gilt, dass sich die Effizienz eines Parameterschätzers anhand der „Größe“ seiner Varianz-Kovarianzmatrix messen lässt. Es gilt je „kleiner“ die Varianz-Kovarianzmatrix, desto größer die Effizienz des Schätzers. Seien Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tilde\boldsymbol \theta } und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat\boldsymbol \theta} zwei unverzerrte Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (K \times 1)} Zufallsvektoren. Wenn ${\boldsymbol {\theta }}$ ein Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (K \times 1)} Zufallsvektor ist, dann ist Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\hat\boldsymbol \theta)} eine Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (K \times K)} positiv definite und symmetrische Matrix. Man kann sagen, dass Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\hat\boldsymbol \theta)} „kleiner“ ist als Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\tilde\boldsymbol \theta)} in Sinne der Loewner-Halbordnung, d. h., dass $\operatorname {Cov} ({\tilde {\boldsymbol {\theta }}})-\operatorname {Cov} ({\hat {\boldsymbol {\theta }}})$ eine positiv semidefinite Matrix ist.^[4]

Kovarianzmatrix in Matrix-Notation

Die Kovarianzmatrix lässt sich in der Matrix-Notation darstellen als

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\mathbf X) = \frac{1}{n}\left(\mathbf{X}\mathbf{X}^\mathrm{T}-\frac{1}{n}\mathbf{X}1\!\!1\mathbf{X}^\mathrm{T}\right)} ,

wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \displaystyle 1\!\!1} die Einsmatrix und $n$ die Anzahl Dimensionen bezeichnet.^[5]

Stichproben-Kovarianzmatrix

Eine Schätzung der Korrelationsmatrix in der Grundgesamtheit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \widehat{\mathbf{\Sigma}}} erhält man, indem man die Varianzen und Kovarianzen in der Grundgesamtheit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Var}(X_i) = \sigma^2_i} und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(X_i,X_j) = \sigma_{ij}\;,i\ne j} durch die empirischen Varianzen und empirischen Kovarianzen (ihre empirischen Gegenstücke) Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat\sigma^2_{j} = s_j^2} und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat\sigma_{jk} = s_{jk}} ersetzt (sofern die Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x} -Variablen Zufallsvariablen darstellen schätzen die die Parameter in der Grundgesamtheit).

Spezielle Kovarianzmatrizen

Kovarianzmatrix des gewöhnlichen Kleinste-Quadrate-Schätzers

Für die Kovarianzmatrix des gewöhnlichen Kleinste-Quadrate-Schätzers

\mathbf {b} =(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y} ;\ \operatorname {Cov} (\mathbf {Y} )=\sigma ^{2}\mathbf {I}

ergibt sich nach den obigen Rechenregeln:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Cov}(\mathbf b)=(\mathbf{X}^\top \mathbf X )^{-1}\mathbf {X}^\top \operatorname{Cov}(\mathbf{Y})\ \mathbf{X}(\mathbf{X}^\top \mathbf X )^{-1} = \sigma^2 (\mathbf{X}^\top \mathbf X )^{-1} (\mathbf {X}^\top \mathbf{X}) (\mathbf{X}^\top \mathbf X )^{-1}= \sigma^2(\mathbf X^\top \mathbf X)^{-1}=\Sigma_\mathbf{b}} .

Diese Kovarianzmatrix ist unbekannt, da die Varianz der Störgrößen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma^2} unbekannt ist. Einen Schätzer für die Kovarianzmatrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat\Sigma_\mathbf{b}} erhält man, indem man die unbekannte Störgrößenvarianz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma^2} durch den erwartungstreuen Schätzer der Störgrößenvarianz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{\sigma}^2} ersetzt (siehe hierzu: Erwartungstreue Schätzung des unbekannten Varianzparameters).

Kovarianzmatrix bei scheinbar unverbundenen Regressionsgleichungen

Bei scheinbar unverbundenen Regressionsgleichungen (englisch: seemingly unrelated regression equations, kurz SURE) des Modells

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle y_{it} = \boldsymbol x_{it}^{\top} \boldsymbol \beta + \boldsymbol e_{it} } ,

wobei der Fehlerterm ${\boldsymbol {e}}_{it}$ idiosynkratisch ist, ergibt sich die Kovarianzmatrix als

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} \operatorname{Cov}(\mathbf e)=\operatorname{E}(\mathbf e \mathbf e^{\top}) &= \begin{pmatrix} \operatorname{E}(\boldsymbol e_1 \boldsymbol e_1^{\top}) & \cdots & \operatorname{E}(\boldsymbol e_1 \boldsymbol e_N^{\top}) \\ \\ \vdots & \ddots & \vdots \\ \\ \operatorname{E}(\boldsymbol e_N \boldsymbol e_1^{\top}) & \cdots & \operatorname{E}(\boldsymbol e_N \boldsymbol e_N^{\top}) \end{pmatrix}= \begin{pmatrix} \sigma_{11}\mathbf I_T & \cdots &\sigma_{1N}\mathbf I_T \\ \\ \vdots & \ddots & \vdots \\ \\ \sigma_{N1}\mathbf I_T & \cdots &\sigma_{NN}\mathbf I_T \end{pmatrix} = \begin{pmatrix} \sigma_{11} & \cdots &\sigma_{1N} \\ \\ \vdots & \ddots & \vdots \\ \\ \sigma_{N1} & \cdots &\sigma_{NN} \end{pmatrix}\otimes \mathbf I_T \\ \\ &=\mathbf \Sigma \otimes \mathbf I_T =\mathbf \Phi \end{align}}

Darstellung

Die Kovarianzmatrix kann als Näherung an die Streuregion und die Standardabweichungsellipse dargestellt werden.

Siehe auch

Literatur

Friedrich Schmid, Mark Trede: Finanzmarktstatistik. Springer-Verlag, Berlin 2006, ISBN 3-540-27723-4 (eingeschränkte Vorschau in der Google-Buchsuche).

Einzelnachweise

↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 43.
↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 43.
↑ Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education, 2015, S. 857.
↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 78.
↑ Arnold, L. O., & Owaida, M. (2020). Single-Pass Covariance Matrix Calculation on a Hybrid FPGA/CPU Platform. In EPJ Web of Conferences (Vol. 245). EDP Sciences.

[1] George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 43.

[2] George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 43.

[3] Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education, 2015, S. 857.

[4] George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 78.

[5] Arnold, L. O., & Owaida, M. (2020). Single-Pass Covariance Matrix Calculation on a Hybrid FPGA/CPU Platform. In EPJ Web of Conferences (Vol. 245). EDP Sciences.

[1]

[2]

[3]

[4]

[5]

Anonym

Suche

Kovarianzmatrix

Namensräume

Mehr

Seitenaktionen

Inhaltsverzeichnis

Definition