Satz von Rao-Blackwell

Der Satz von Rao-Blackwell ist ein mathematischer Satz aus der Schätztheorie, einem Teilgebiet der mathematischen Statistik. Im einfachsten Fall konstruiert er aus einem vorgegebenen Punktschätzer mittels des bedingten Erwartungswertes einen neuen Schätzer, der in dem Sinne besser als der anfangs gegebene Schätzer ist, als dass er eine geringere Varianz besitzt. Daher nennt man den neu gewonnenen Schätzer auch die Rao-Blackwell-Verbesserung des vorgegebenen Schätzers und die genutzte Vorgehensweise Rao-Blackwellisierung.

Insbesondere ist der neu gewonnene Schätzer immer suffizient. Somit liefert der Satz von Rao-Blackwell ein wesentliches Argument, optimale Schätzer unter den suffizienten Schätzern zu suchen und hebt die Bedeutung der Suffizienz als Gütekriterium hervor.

Der Satz ist nach Calyampudi Radhakrishna Rao und David Blackwell benannt.

Aussage

Gegeben sei ein statistisches Modell $(X,{\mathcal {A}},(P_{\vartheta })_{\vartheta \in \Theta })$. Des Weiteren sei $(E,{\mathcal {E}})$ ein Entscheidungsraum, am gängigsten ist $(\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))$. Sei

$d\colon X\to E$

ein Punktschätzer für die zu schätzende Funktion (im parametrischen Fall Parameterfunktion genannt)

$g\colon \Theta \to E$

sowie $T$ eine suffiziente Statistik für $(P_{\vartheta })_{\vartheta \in \Theta }$. Aufgrund der Suffizienz ist der bedingte Erwartungswert unabhängig von $\vartheta$ und die Definition

$d^{+}:=E_{\bullet }(d|T)$

ist sinnvoll (das ${}_{\bullet }$ soll klarmachen, dass der bedingte Erwartungswert gewöhnlich von $\vartheta$ abhängt, in diesem Fall die Wahl von $\vartheta$ aber beliebig ist).

Dann gilt:

1. $d$ und $d^{+}$ haben denselben Bias.
2. Es ist

$\operatorname {E} _{\vartheta }\left((d^{+}-g(\vartheta ))^{2}\right)\leq \operatorname {E} _{\vartheta }\left((d-g(\vartheta ))^{2}\right)$

für alle $\vartheta \in \Theta$.

Für den Spezialfall, dass $d$ erwartungstreu ist, folgt

1. $d^{+}$ ist ebenfalls erwartungstreu.
2. Es ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Var}_\vartheta(d^+) \leq \operatorname{Var}_\vartheta(d)}

für alle Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta \in \Theta } .

Teils wird der Satz auch mit einer suffizienten σ-Algebra Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathcal B } anstelle der suffizienten Statistik Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T } formuliert. Die Aussagen bleiben jedoch identisch.

Beweisskizze

Die erste Aussage folgt aus Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle E_\vartheta(d|T)=E_\bullet(d|T) } P-fast überall für alle Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta \in \Theta } . Somit ist

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname E_\vartheta(d^+)=\operatorname E_\vartheta\left( E_\vartheta(d|T)\right)=\operatorname E_\vartheta (d) } ,

wobei der letzte Schritt aus den elementaren Rechenregeln des bedingten Erwartungswertes folgt. Subtraktion von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g(\vartheta) } liefert die Behauptung.

Die zweite Aussage folgt aus der jensenschen Ungleichung für bedingte Erwartungswerte

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \varphi(E(d|T)) \leq E(\varphi(d)|T), \quad \text{ angewandt auf } \varphi( \cdot)= (\cdot-g(\vartheta))^2} .

Daraus folgt

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (d^+-g(\vartheta))^2 \leq \operatorname E_\bullet((d-g(\vartheta))^2|T) }

für alle Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta \in \Theta } . Bilden des Erwartungswertes liefert die Aussage.

Implikationen

Zentrales Gütekriterium für erwartungstreue Schätzer ist die Varianz, analog ist der mittlere quadratische Fehler das Gütekriterium für Schätzer mit Verzerrung. Beschränkt man sich nun bei der Suche nach guten Schätzern auf erwartungstreue Schätzer, so lässt sich nach der obigen Aussage immer ein Schätzer konstruieren, der besser als der Ausgangsschätzer ist und suffizient ist. Somit sind erwartungstreue Schätzer minimaler Varianz immer unter den suffizienten Schätzern zu finden. Dieselbe Argumentation folgt auch für Schätzer mit vorgegebener Verzerrung. Sucht man Schätzer mit minimalem mittlerem quadratischen Fehler in der Klasse der Schätzer mit einer vorgegebenen Verzerrung, so sind diese Schätzer suffizient.

Damit ist der Satz von Rao-Blackwell neben dem Satz von Lehmann-Scheffé der zentrale Satz, der die Verwendung der Suffizienz als Gütekriterium rechtfertigt.

Einordnung

Im Rahmen eines statistischen Entscheidungsproblem lässt sich der Satz von Rao-Blackwell wie folgt einordnen: Der Punktschätzer ist eine nichtrandomisierte Entscheidungsfunktion, als Verlustfunktion ist das Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \varphi } wie oben in der Beweisskizze gewählt. Die Risikofunktionen werden durch Erwartungswertbildung gewonnen und sind dann wie oben angegeben

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle R_d(\vartheta)=\operatorname{E}_\vartheta \left( (d-g(\vartheta))^2\right) } .

In dieser Formulierung lautet der Satz von Rao-Blackwell

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle R_{d^+}(\vartheta) \leq R_d(\vartheta) \text{ für alle } \vartheta \in \Theta } .

Somit liefert der Satz von Rao-Blackwell zu jeder Entscheidungsfunktion eine Rao-Blackwell-Verbesserung, welche für jeden Parameter Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vartheta } die Risikofunktion verbessert.

Verallgemeinerung

Mit der oben genannten Einordnung und durch die Verwendung der Jensenschen Ungleichung im Beweis lässt sich die Rao-Blackwell-Verbesserung auf beliebige konvexe Verlustfunktionen der Form

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \varphi (\cdot):=L( \cdot- g(\vartheta)) }

verallgemeinern. Somit lässt sich der Satz von Rao-Blackwell beispielsweise auch für Mengen von L-unverfälschten Schätzern wie beispielsweise Median-unverfälschten Schätzern formulieren.

Verwandte Aussagen

Der Satz von Rao-Blackwell ist Basis für den Satz von Lehmann-Scheffé. Dieser besagt, dass unter der zusätzlichen Voraussetzung der Vollständigkeit die Rao-Blackwell-Verbesserung einen gleichmäßig besten erwartungstreuen Schätzer liefert.

In regulären statistischen Modellen liefert die Cramér-Rao-Ungleichung eine untere Schranke für die Varianz von Schätzern.

Weblinks

• M.S. Nikulin: Rao-Blackwell-Kolmogorov theorem. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 978-1-55608-010-4 (englisch, online). 

Literatur

• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3. 
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.