Regressionsparameter

Regressionsparameter, auch Regressionskoeffizienten oder Regressionsgewichte genannt, messen den Einfluss einer Variablen in einer Regressionsgleichung. Dazu lässt sich mit Hilfe der Regressionsanalyse der Beitrag einer unabhängigen Variable (dem Regressor) für die Prognose der abhängigen Variable herleiten.

Bei einer multiplen Regression kann es sinnvoll sein, die standardisierten Regressionskoeffizienten zu betrachten, um die Erklärungs- oder Prognosebeiträge der einzelnen unabhängigen Variablen (unabhängig von den bei der Messung der Variablen gewählten Einheiten) miteinander vergleichen zu können, z. B. um zu sehen, welcher Regressor den größten Beitrag zur Prognose der abhängigen Variable leistet.

Interpretation des Absolutglieds und der Steigung

Gegeben sei das multiple lineare Modell

$y_{i}=\beta _{0}+x_{i1}\beta _{1}+\dotsc +x_{ik}\beta _{k}+\varepsilon _{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+\varepsilon _{i}$ bzw. in Matrixschreibweise Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf y = \mathbf X \boldsymbol{\beta} + \boldsymbol \varepsilon} .

Den Parameter Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \beta_0} bezeichnet man als Niveauparameter, Achsenabschnitt, Absolutglied, Regressionskonstante oder kurz Konstante (engl. intercept).

Die Parameter Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \beta_1 , \dotsc , \beta_k } nennt man Steigungsparameter, Steigungskoeffizienten, oder Anstieg (engl. slope).

Die $\varepsilon _{i}$ sind Störgrößen.

Man unterscheidet bei der Interpretation der Regressionskoeffizienten die folgenden Fälle:

Level-Level-Transformation

Im Fall, bei der die endogene Variable untransformiert (level) ist und die exogene Variable ebenfalls (level) gilt aufgrund von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{E}(\mathbf{y}|\mathbf{X})=\mathbf{X}\boldsymbol \beta}

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{E}(y_i|\mathbf x_{i})= \beta_0 + x_{i1} \beta_1 + \dotsc + x_{ik} \beta_k} .

Damit gilt für den Niveau- und den Steigungsparameter:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \beta_0=\operatorname{E}(y_i|x_{i1} =x_{i2}= \dotsc = x_{ik}=0)}

und

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \beta_j= \frac{\partial \,(y_i|\mathbf x_{i})}{\partial \,x_{ij}}} , ceteris paribus (c.p.), Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle j= 1, \ldots, k}

Der Niveauparameter lässt sich wie folgt interpretieren: Die Zielgröße $y$ beträgt im Mittel Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \beta_0} (bzw. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat\beta_0} ) wenn alle Regressoren $0$ sind.

Für den jeweiligen Steigungsparameter $\beta _{j}$ gilt: Steigt $x_{ij}$ c.p. um eine Einheit, dann steigt $y_{i}$ im Mittel um $\beta _{j}$-Einheiten.

Log-Log-Transformation

Im Fall, bei der die endogene Variable logarithmisch transformiert (log) ist und die exogene Variable ebenfalls (log) gilt

$\beta _{j}={\frac {\partial \,(\ln(y_{i}^{\dagger })|\mathbf {x} _{i})}{\partial \,\ln(x_{ij}^{\dagger })}}={\frac {\frac {\partial \,((y_{i}^{\dagger })|\mathbf {x} _{i})}{y_{i}^{\dagger }|\mathbf {x} _{i}}}{\frac {\partial \,(x_{ij}^{\dagger })}{x_{ij}^{\dagger }}}}$, ceteris paribus (c.p.), $j=1,\ldots ,k$

Dies kann wie folgt interpretiert werden: Steigt das transformierte $x_{ij}$ c.p. um 1 %, dann steigt das transformierte $y_{i}$ im Mittel um Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \beta_j} -Prozent. Ökonomisch würde dies der Interpretation als Elastizität entsprechen.

Standardisierte Regressionskoeffizienten

Die standardisierten Regressionskoeffizienten $\beta _{j}$ (gelegentlich auch Beta-Werte oder Beta-Gewicht genannt) ergeben sich aus einer linearen Regression, in der die unabhängigen und abhängigen Variablen standardisiert worden sind, das heißt, der Erwartungswert gleich Null und die Varianz gleich Eins gesetzt wurde. Sie können auch direkt berechnet werden aus den Regressionskoeffizienten der linearen Regression:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \beta_j = b_j \cdot \frac{s_{x_j}}{s_y}}

• wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle b_j} der Regressionskoeffizient für Regressor $x_{j}$,
• $s_{x_{j}}$ Standardabweichung der unabhängigen Variable Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_j}
• und $s_{y}$ Standardabweichung der abhängigen Variable Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle y}

Sind die standardisierten erklärenden Variablen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Z(X_j)} untereinander unabhängig und auch unabhängig vom Störterm Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \varepsilon} (Voraussetzung im klassischen Regressionsmodell), dann gilt

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} 1={\rm Var}(Z(Y))&= {\rm Var}(\beta_0 + \beta_1 Z(X_1) + \ldots + \beta_p Z(X_p) + \varepsilon)\\ &= \beta_1^2 \underbrace{{\rm Var}(Z(X_1))}_{=1} + \ldots + \beta_p^2 \underbrace{{\rm Var}(Z(X_p))}_{=1} + {\rm Var}(\varepsilon), \end{align} }

das heißt die Summe der quadrierten standardisierten Regressionskoeffizienten ist kleiner gleich Eins. Sind einer oder mehrere der standardisierten Regressionskoeffizienten größer als Eins bzw. kleiner als minus Eins, weist dies auf Multikollinearität hin.

Beispiel

Für die abhängige Variable Mittlerer Hauspreis in selbstbewohnten Häusern pro Bezirk (in 1000 US$) aus dem Boston Housing Datensatz ergibt sich das nebenstehende Regressionsmodell:

• Jedes Zimmer zusätzlich im Haus verteuert den Kaufpreis um 4873 US$,
• jeder Kilometer mehr zu einer Arbeitsstätte reduziert den Kaufpreis um 461 US$ und
• jeder Prozentpunkt mehr beim Anteil der Unterschichtbevölkerung reduziert den Kaufpreis um 723 US$.

Standardisiert man alle Variablen, kann man den Einfluss einer erklärenden Variablen auf die abhängige Variable abschätzen:

• Den größten Einfluss hat die Variable Anteil der Unterschichtbevölkerung: −0,562,
• den zweitgrößten Einfluss hat die Variable Anzahl Zimmer: 0,372 und
• die Variable Entfernung zu Arbeitsstätten hat den geringsten Einfluss: −0,106.

Wären die Variablen unabhängig voneinander, könnte man anhand der quadrierten Regressionskoeffizienten den Anteil der erklärten Varianz angeben:

• Die Variable Anteil der Unterschichtbevölkerung erklärt knapp 32 % der Varianz des mittleren Hauspreises (Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 0{,}316=(-0{,}562)^2} ),
• die Variable Anzahl Zimmer erklärt knapp 14 % der Varianz des mittleren Hauspreises ($0{,}138=0{,}372^{2}$) und
• die Variable Entfernung zu Arbeitsstätten erklärt etwas mehr als 1 % der Varianz des mittleren Hauspreises ($0{,}011=(-0{,}106)^{2}$).

Literatur

• Jürgen Bortz, Christof Schuster: Statistik für Humanwissenschaftler. 7. erweiterte Auflage. Springer-Verlag Berlin Heidelberg New York 2010. ISBN 978-3-642-12769-4.