Smits Paradoxon

In der klassischen mathematischen Statistik gilt, salopp formuliert: Je größer die Stichprobe, desto besser die Schätzung (genauer siehe Hauptsatz der mathematischen Statistik). In der Statistik zufälliger Prozesse ist es jedoch möglich – und wird dann in der Regel als paradox empfunden –, dass eine Schätzung durch Vergrößerung des Stichprobenumfangs schlechter wird. S. J. Wilenkin war der erste, dem das 1959 auffiel, doch waren in seiner Arbeit Fehler, so dass J.C. Smit 1961 der Namensgeber des Paradoxons wurde.

Das Paradoxon

Sei $X_{t}$ ein schwach stationärer zufälliger Prozess mit unbekanntem konstanten Erwartungswert Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle \mathrm {E} X_{t}=m} und (bekannter) Kovarianzfunktion $r(t-s)$. Der Prozess kann für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle t\in T \subset \R} beobachtet werden. Seien Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \quad x_{t_1},\cdots,x_{t_n};\quad t_i\in T \quad n} (diskrete) Beobachtungen und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_t, t\in T} die kontinuierliche Beobachtung des Prozesses über das gesamte Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T} . Dann sind

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat m= \frac{1}{n} \sum_{i=1}^n x_{t_i};\quad\quad \tilde m=\frac{1}{|T|}\int_T x_t \mathrm dt}

erwartungstreue Schätzungen für $m$. Intuitiv scheint klar zu sein, dass Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tilde m} besser ist als Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat m} , weil es mehr Informationen ausnutzt, nämlich Informationen aus ganz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T} , während Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat m} nur punktuelle Informationen nutzt. Doch schon für einfache Spezielfälle zeigt sich das Gegenteil: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat m} ist besser als Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tilde m} , wenn man die Varianz der Schätzer als Kriterium nimmt:

$\operatorname {Var} ({\hat {m}})={\frac {1}{n^{2}}}\sum _{i,j=1}^{n}r(t_{i}-t_{j});\quad \operatorname {Var} ({\tilde {m}})={\frac {1}{|T|^{2}}}\int _{T}\int _{T}r(t-s)\mathrm {d} t\mathrm {d} s$

Beispiel

Sei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle T=[-1,1];\quad r(t-s)=\mathrm e^{-|t-s|};\quad t_1=-1,\quad t_2=-0{,}5,\quad t_3=0,\quad t_4=0{,}5,\quad t_5=1} , d. h. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n=5} diskrete Beobachtungsstellen. Dann ergibt sich Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \operatorname{Var}(\hat m)=0{,}529; \quad\operatorname{Var}(\tilde m)=0{,}568)} , d. h. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat m} ist besser als ${\tilde {m}}$. Wenn man weitere Beobachtungen zwischen den bisherigen Stellen mit einbezieht, d. h. bei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle t_6=-0{,}75,\quad t_7=-0{,}25,\quad t_8=0{,}25,\quad t_9=0{,}75} , dann verschlechtert sich die Varianz von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat m} von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 0{,}529} auf Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle 0{,}542} , d. h, eine „Verdichtung“ der Beobachtungen führt zu einem schlechteren Ergebnis.

Auflösung des Paradoxons

Die Schätzung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tilde m} ist für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle m} nicht die beste lineare erwartungstreue Schätzung (englisch Best Linear Unbiased Estimator, kurz BLUE), Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat m} wird also mit einer nicht-optimalen Schätzung verglichen. Die BLUE für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle m} ergibt sich nach einem Satz von Grenander in Form eines Stieltjesintegrales Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tilde m^*=\int_T x_t\mathrm dG^*(t);\quad \int_T\mathrm dG^*(t)=1} als Lösung der Integralgleichung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \int_T r(t-s)\mathrm dG^*(t)=c} mit Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle c=\operatorname {Var} ({\tilde {m}}^{*})} .

Fortsetzung Beispiel

Siehe auch. Mit den gleichen Setzungen wie in obigem Beispiel ergibt sich

${\tilde {m}}^{*}={\frac {1}{4}}[x_{-1}+\int _{-1}^{1}x_{t}\mathrm {d} t+x_{+1}];\quad \operatorname {Var} ({\tilde {m}}^{*})=0{,}500$.

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tilde m^*} legt im Gegensatz zu ${\tilde {m}}$ Extragewichte auf den Rand des Beobachtungsintervalles (Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle t=-1,t=+1} ). Die diskrete Fünf-Punkte-Schätzung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat m} approximiert diese Randgewichtung besser als Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tilde m} und ist damit auf natürliche Weise der bessere Schätzer.

Praktische Bedeutung

Das für stochastische Prozesse geschilderte Phänomen gilt auch für zufällige Felder. Insbesondere in der Geostatistik ist es wichtig zu wissen, dass eine Netzverdichtung in Geoinformationssystemen keineswegs automatisch zu besseren Schätzergebnissen führt.