Anzahl der Freiheitsgrade (Statistik)

In der Statistik gibt die Anzahl der Freiheitsgrade (englisch number of degrees of freedom, kurz df oder dof) an, wie viele Werte in einer Berechnungsformel (genauer: Statistik) frei variieren dürfen.

Schätzungen statistischer Parameter können auf unterschiedlichen Mengen an Informationen oder Daten basieren. Die Anzahl unabhängiger Information, die in die Schätzung eines Parameters einfließen, wird als Anzahl der Freiheitsgrade bezeichnet. Im Allgemeinen sind die Freiheitsgrade einer Schätzung eines Parameters gleich der Anzahl unabhängiger Einzelinformationen, die in die Schätzung einfließen, abzüglich der Anzahl der zu schätzenden Parameter, die als Zwischenschritte bei der Schätzung des Parameters selbst verwendet werden. Beispielsweise fließen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n} Werte in die Berechnung der Stichprobenvarianz mit ein. Dennoch lautet die Anzahl der Freiheitsgrade Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n-1} , da als Zwischenschritt der Mittelwert geschätzt wird und somit ein Freiheitsgrad verloren geht.

Definition

Die Anzahl Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n} der unabhängigen Beobachtungswerte abzüglich der Anzahl der schätzbaren Parameter $p$ wird als Anzahl der Freiheitsgrade $fg$ bezeichnet. Da es in einem multiplen linearen Regressionsmodell $p=(k+1)$ Parameter mit $k$ Steigungsparametern Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle \beta _{1},\beta _{2},\ldots ,\beta _{k}} und einem Niveauparameter $\beta _{0}$ gibt, kann man schreiben

Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle fg=n-p=n-(k+1)=(\mathrm {Anzahl\;der\;Beobachtungen} )-(\mathrm {Anzahl\;der\;gesch{\ddot {a}}tzten\;Parameter} )} .

Die Freiheitsgrade kann man auch als Anzahl der „überflüssigen“ Messungen interpretieren, die nicht zur Bestimmung der Parameter benötigt werden.

Die Freiheitsgrade werden bei der Schätzung von Varianzen benötigt. Außerdem sind verschiedene Wahrscheinlichkeitsverteilungen, mit denen anhand der Stichprobe Hypothesentests durchgeführt werden, von den Freiheitsgraden abhängig.

Beispiele

Beim Erwartungswert der Residuenquadratsumme

Für die Schätzung der Störgrößenvarianz wird die Residuenquadratsumme

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{RSS} =\sum_{i=1}^n \hat \varepsilon_i^2=\hat{\boldsymbol \varepsilon}^{\top}\hat{\boldsymbol \varepsilon}}

benötigt. Der erwartungstreue Schätzer für die Störgrößenvarianz ist im multiplen linearen Regressionsmodell

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat \sigma^2 =\frac{\left(\mathbf y - \mathbf X \mathbf b\right)^{\top}\left(\mathbf y - \mathbf X \mathbf b\right)}{n-p}=\frac{\hat \boldsymbol \varepsilon^{\top} \hat \boldsymbol \varepsilon}{n-p} } ,

da Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{E}(\hat{\sigma}^2) = \sigma^2} . Die Residuenquadratsumme hat Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (n-p)} Freiheitsgrade, entsprechend der Anzahl der unabhängigen Residuen. Der Erwartungswert der Residuenquadratsumme ist aufgrund der Formel für die erwartungstreue Störgrößenvarianz gegeben durch

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{E}(\hat{\sigma}^2) = \sigma^2 \Longleftrightarrow \operatorname{E}(\hat{\boldsymbol \varepsilon}^{\top}\hat{\boldsymbol \varepsilon}) = (n-p)\sigma^2} .

Um intuitiv herausfinden zu können, warum die Anpassung der Freiheitsgrade notwendig ist, kann man die Bedingungen erster Ordnung für die KQ-Schätzer betrachten. Diese können als

Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle \textstyle \sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}=0}

und

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \textstyle \sum\nolimits_{i=1}^n x_{ij}\hat \varepsilon_i=0, \; j=1,\ldots, k}

ausgedrückt werden. Beim Erhalten der KQ-Schätzer werden somit den KQ-Residuen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle k+1} Restriktionen auferlegt. Dies bedeutet, dass bei gegebenen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n-(k+1)} Residuen die verbleibenden Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (k+1)} Residuen bekannt sind: In den Residuen gibt es folglich nur Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n-(k+1)} Freiheitsgrade (Im Gegensatz dazu gibt es in den wahren Störgrößen $\varepsilon _{i}$ n Freiheitsgrade in der Stichprobe.)

Eine verzerrte Schätzung, die nicht die Anzahl der Freiheitsgrade berücksichtigt ist die Größe

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat \sigma^2 = \frac{1}{n} \sum_{i=1}^{n} \hat e_i^2 = \frac{\hat{\boldsymbol \varepsilon}^{\top}\hat{\boldsymbol \varepsilon}}{n}} .

Den Schätzer bekommt man bei Anwendung der Maximum-Likelihood-Schätzung.

Bei der empirischen Varianz

Für eine erwartungstreue Schätzung der Varianz der Grundgesamtheit wird die Quadratsumme von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X} durch die Anzahl der Freiheitsgrade geteilt und man erhält die Stichprobenvarianz (Schätzfunktion)

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle S^2 =\frac{1}{n-1} \sum_{i=1}^{n} (X_i-\overline X)^2} .

Da diese Varianz erwartungstreu ist, gilt für sie Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname E(S^2) =\sigma^2} . Das empirische Pendant zu dieser Varianz ist die empirische Varianz

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle s^2 := \frac{1}{n-1} \sum \limits_{i=1}^n\left(x_i-\overline x\right)^2}

Intuitiv lässt sich bei der empirischen Varianz die Mittelung durch Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (n-1)} statt durch $n$ bei der modifizierten Form der empirischen Varianz wie folgt erklären: Aufgrund der Schwerpunkteigenschaft des empirischen Mittels Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sum\nolimits_{i=1}^n \left(x_i - \bar{x}\right)=0} ist die letzte Abweichung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \left(x_n-\overline x\right)} bereits durch die ersten Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (n-1)} bestimmt. Folglich variieren nur Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (n-1)} Abweichungen frei und man mittelt deshalb, indem man durch die Anzahl der Freiheitsgrade Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (n-1)} dividiert.

Anzahl der Freiheitsgrade von wichtigen Quadratsummen

Die folgende Tafel der Varianzanalyse zeigt die Anzahl der Freiheitsgrade einiger wichtiger Quadratsummen im multiplen linearen Regressionsmodell Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle y_i = \beta_0 + x_{i1} \beta_1 +x_{i2} \beta_2+ \dotsc + x_{ik} \beta_k +\varepsilon_i,\quad i=1,\ldots,n} :

Variationsquelle	Abweichungsquadratsummen	Anzahl der Freiheitsgrade	mittlere Abweichungsquadrate
Regression	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \displaystyle\sum\nolimits_{i=1}^n (\hat{y}_i- \overline{\hat{y}})^2}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle k}
Residual	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \displaystyle\sum\nolimits_{i=1}^n \left(y_i - \hat{y}_i\right)^2}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (n-p)}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \displaystyle\sum\nolimits_{i=1}^n \left(y_i - \hat{y}_i\right)^2/(n-p)=\hat{\sigma}^2}
Total	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \displaystyle\sum\nolimits_{i=1}^n \left(y_i - \overline{ y}\right)^2}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (n-1)}	Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \displaystyle\sum\nolimits_{i=1}^n \left(y_i - \overline{ y}\right)^2/(n-1)=s_y^2}

Diese Quadratsummen spielen bei der Berechnung des Bestimmtheitsmaßes eine große Rolle.

Freiheitsgrade als Parameter von Verteilungen

Die Anzahl der Freiheitsgrade ist auch Parameter mehrerer Verteilungen. Wenn die Beobachtungen normalverteilt sind, dann folgt der Quotient aus der Residuenquadratsumme Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \text{RSS}} und der Störgrößenvarianz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma^2} einer Chi-Quadrat-Verteilung mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n-p} Freiheitsgraden:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \frac{\text{RSS}}{\sigma^2} =\frac{ \hat \boldsymbol \varepsilon^{\top}\hat \boldsymbol \varepsilon}{\sigma^2}=\frac{ \boldsymbol \varepsilon^{\top}\left( \mathbf{I}_n - \mathbf{X}(\mathbf{X}^{\top} \mathbf{X} )^{-1}\mathbf{X}^{\top} \right)\boldsymbol \varepsilon}{\sigma^2}\sim \chi^2(n-p)} .

Die Größe Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \text{RSS}/\sigma^2} folgt einer Chi-Quadrat-Verteilung mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n-p} Freiheitsgraden, weil die Anzahl der Freiheitsgrade der Chi-Quadrat-Verteilung der Spur der Projektionsmatrix Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \left( \mathbf{I}_n - \mathbf{X}(\mathbf{X}^{\top} \mathbf{X} )^{-1}\mathbf{X}^{\top} \right)} entspricht, also

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \frac{\boldsymbol \varepsilon^{\top}\left( \mathbf{I} - \mathbf{X}(\mathbf{X}^{\top} \mathbf{X} )^{-1}\mathbf{X}^{\top} \right)\boldsymbol \varepsilon}{\sigma^2}\sim \chi^2(\operatorname{Spur}\left( \mathbf{I}_n - \mathbf{X}(\mathbf{X}^{\top} \mathbf{X} )^{-1}\mathbf{X}^{\top} \right)}

Für die Spur von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \left( \mathbf{I}_n - \mathbf{X}(\mathbf{X}^{\top} \mathbf{X} )^{-1}\mathbf{X}^{\top} \right)} gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Spur}\left( \mathbf{I}_n - \mathbf{X}(\mathbf{X}^{\top} \mathbf{X} )^{-1}\mathbf{X}^{\top} \right)=n-p} . Weitere von der Anzahl der Freiheitsgrade abhängige Verteilungen sind die t-Verteilung und die F-Verteilung. Diese Verteilungen werden für die Schätzung von Konfidenzintervallen der Parameter und für Hypothesentests benötigt.

Eine weitere wichtige Größe, die für die statistische Inferenz benötigt wird und deren Verteilung von Freiheitsgraden abhängt, ist die t-Statistik. Man kann zeigen, dass die Größe

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \frac{\frac{\boldsymbol R_1\boldsymbol \hat \beta - \boldsymbol R_1\boldsymbol \beta }{\sqrt{\sigma^2\boldsymbol R_1(\mathbf X^{\top}\mathbf X)^{-1}\boldsymbol R_1^{\top}}}}{\sqrt{\frac{(n-p)\hat{\sigma}^2}{\sigma^2(n-p)}}}=\frac{\mathcal{N}(0;1)}{\sqrt{\frac{\chi^2_n}{n}}}\;\;\stackrel{H_0}{\sim} \;\;\mathcal t(n-p) }

einer t-Verteilung mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (t-k)} Freiheitsgraden folgt (siehe Testen allgemeiner linearer Hypothesen).