Cramér-Rao-Ungleichung

Die Cramér-Rao-Ungleichung, auch Informationsungleichung oder Fréchet-Ungleichung genannt, ist eine zentrale Ungleichung der Schätztheorie, einem Teilgebiet der mathematischen Statistik. Sie liefert in regulären statistischen Modellen eine Abschätzung für die Varianz von Punktschätzern und damit eine Möglichkeit, unterschiedliche Schätzer miteinander zu vergleichen sowie ein Kriterium für die Bestimmung von gleichmäßig besten erwartungstreuen Schätzern.

Die Ungleichung ist nach Harald Cramér und Calyampudi Radhakrishna Rao beziehungsweise nach Maurice René Fréchet benannt.

Aussage

Rahmenbedingungen

Gegeben sei ein einparametriges Standardmodell Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (X, \mathcal A, (P_\vartheta)_{\vartheta \in \Theta}) } , das heißt, es ist Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Theta \subset \R } und jedes der Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle P_{\vartheta }} besitzt eine Dichtefunktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f(x, \vartheta) } bezüglich des Maßes Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mu } .

Des Weiteren seien die Cramér-Rao-Regularitätsbedingungen erfüllt, das heißt, es gilt:

• Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Theta } ist eine offene Menge.
• Die Dichtefunktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f(x, \vartheta) } ist auf ganz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X \times \Theta } echt größer als 0.
• Die Score-Funktion

Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle S_{\vartheta }(x)={\frac {\partial }{\partial \vartheta }}\ln f(x,\vartheta )}

existiert und ist endlich.

• Die Fisher-Information Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle I(\vartheta )} ist echt positiv und endlich.
• Es gilt die Vertauschungsrelation

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \int \frac{\partial}{\partial\vartheta} f (x, \vartheta) \mathrm d \mu (x) =\frac{\partial}{\partial\vartheta} \int f (x, \vartheta) \mathrm d \mu (x)} .

Formulierung

Ist dann Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } ein Schätzer mit endlicher Varianz und ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname E_\vartheta(T):=g(\vartheta) \quad \mathrm{f\ddot ur \;alle\;} \vartheta \in \Theta }

so ist Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } ein erwartungstreuer Schätzer für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g } . Ist nun $T$ ein regulärer Schätzer in dem Sinne, als dass die Vertauschungsrelation

${\frac {\partial }{\partial \vartheta }}\int T(x)\cdot f(x,\vartheta )\,\mathrm {d} \mu (x)=\int T(x)\cdot {\frac {\partial }{\partial \vartheta }}f(x,\vartheta )\,\mathrm {d} \mu (x)$,

gültig ist, so gilt die Cramér-Rao-Ungleichung

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Var}_\vartheta(T) \geq \frac{\left[ g'(\vartheta)\right]^2}{I(\vartheta)}\quad \mathrm{f\ddot ur \;alle\;} \vartheta \in \Theta }

wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g'(\vartheta)} die Ableitung von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g(\vartheta) } ist.

Bemerkungen

Die Definition der zu schätzenden Funktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g } über den Erwartungswert von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } garantiert die Differenzierbarkeit dieser Funktion. Alternativ kann auch Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } als ein erwartungstreuer Schätzer für eine differenzierbare Funktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g } definiert werden.

Abgeleitete Begriffe

Cramér-Rao-Schranke

Ist $T$ ein erwartungstreuer Schätzer für die Funktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g(\vartheta)=\vartheta } , so vereinfacht sich die Cramér-Rao-Ungleichung zu

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Var}_\vartheta(T) \geq \frac{1}{I(\vartheta)} \quad \mathrm{f\ddot ur \;alle\;}\vartheta \in \Theta } .

Dies nennt man auch die Cramér-Rao-Schranke.

Cramér-Rao-Effizienz und Supereffizenz

Ein Schätzer, welcher die Cramér-Rao-Ungleichung mit Gleichheit erfüllt, heißt ein Cramér-Rao-effizienter Schätzer. Er ist ein gleichmäßig bester erwartungstreuer Schätzer für die Klasse der regulären Schätzer, also diejenigen, für die die obige Vertauschungsrelation gilt. Einfachstes und bekanntestes Beispiel eines Cramér-Rao-effizienter Schätzers ist das arithmetische Mittel Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \overline X} als Schätzer für den Erwartungswert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mu} einer Normalverteilung.

Schätzer, die die Cramér-Rao-Ungleichung sogar unterschreiten, werden supereffizient genannt. Diese sind notwendigerweise nicht-regulär oder nicht-erwartungstreu, erfüllen also nicht die Bedingungen der Cramér-Rao-Ungleichung. Der bekannteste Vertreter supereffizienter Schätzer ist der James-Stein-Schätzer.

Regularitätsbedingungen und Beweisidee

Der Beweis der Cramér-Rao-Ungleichung beruht im Wesentlichen auf der Cauchy-Schwarz-Ungleichung und zwei Modellannahmen, die die Vertauschbarkeit von Differentiation und Integration regeln.

Einerseits soll

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{E}_{\vartheta} \left[ \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X_i) \right] = 0 }

gelten und andererseits nehmen wir

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{E}_{\vartheta} \left[ T(X) \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X_i) \right] = \frac{\partial}{\partial\vartheta} \mathrm{E}_{\vartheta} \left[ T(X) \right] }

an. Direktes Einsetzen in die Cauchy-Schwarz-Ungleichung liefert dann die Behauptung.

Mehrdimensionale Formulierung

Unter ähnlichen Regularitätsbedingungen ist die Cramér-Rao-Ungleichung auch im Falle mehrdimensionaler Parameter formulierbar. Die Aussage überträgt sich dann auf die Betrachtung der Kovarianzmatrix des mehrdimensionalen Schätzers und liefert eine Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \leq} -Relation im Sinne der Löwner-Halbordnung für Matrizen.

Sei ${\underline {\vartheta }}:=\left[\vartheta _{1},\vartheta _{2},...,\vartheta _{n}\right]^{T}$ der Vektor der unbekannten Parameter und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{X}} eine multivariate Zufallsvariable mit zugehöriger Wahrscheinlichkeitsdichte Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f(\mathbf{X}; \underline{\vartheta})} .

Der Schätzer

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline{T}(\mathbf{X}) := \left[T_1(\mathbf{X}), T_2(\mathbf{X}), ... , T_n(\mathbf{X}) \right]^T}

für den Parametervektor Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline{\vartheta}} besitzt eine Kovarianzmatrix

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{Cov}[\underline{T}(\mathbf{X})] = \mathrm{E}[(\underline{T}(\mathbf{X}) - \underline{\vartheta}) (\underline{T}(\mathbf{X}) - \underline{\vartheta})^T]} .

Die Cramér-Rao-Ungleichung lautet in diesem Fall

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathrm{Cov}[\underline{T}(\mathbf{X})] \geq \mathcal{I}^{-1}(\underline{\vartheta})}

wobei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathcal{I}} die Fisher-Informationsmatrix

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathcal{I}_{ij}(\underline{\vartheta}) = \mathrm{E} \left[ \frac{\partial}{\partial\vartheta_{i}} \log \prod_{\ell=1}^{n} f(X_\ell; \underline{\vartheta}) \frac{\partial}{\partial\vartheta_{j}} \log \prod_{\ell=1}^{n} f(X_\ell; \underline{\vartheta}) \right] }

ist.

Anwendungen

Mit Hilfe der Cramér-Rao-Ungleichung lässt sich die dynamische Permeabilitätszahl von Membranen abschätzen, was vor allem in der Bio- und Nanotechnologie rege Anwendung findet.

Verallgemeinerungen

Eine mögliche Verallgemeinerung ist die Chapman-Robbins-Ungleichung. Sie erlaubt eine Abschätzung der Varianz eines Schätzers bezüglich eines fest vorgegebenen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P_{\vartheta_0} } und wird daher für Abschätzungen im Rahmen der Untersuchung von lokal minimalen Schätzern verwendet. Bei Grenzübergang liefert sie eine punktweise Version der Cramér-Rao-Ungleichung.

Als eine Verallgemeinerung der Cramér-Rao-Ungleichung kann auch die Van-Trees-Ungleichung aus der bayesschen Statistik angesehen werden. Im Unterschied zu dieser lässt sich die Van-Trees-Ungleichung auch auf nicht-erwartungstreue Schätzer anwenden.

Weblinks

• M.S. Nikulin: Rao-Cramér inequality. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 978-1-55608-010-4 (englisch, online). 

Literatur

• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3. 
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8. 
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274. 
• Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.