Benutzer:Mathelerner/Approximationssatz von Stone-Weierstrass

Approximationssatz von Stone-Weierstrass

Aussage

Seien $a,b\in \mathbb {R}$ beliebig und $f:[a,b]\mapsto \mathbb {R}$ eine stetige Funktion. Dann gilt für alle $\epsilon >0$: Es existiert ein Polynom $\mathbf {P}$, das $\forall x\in [a,b]:|f(x)-\mathbf {P} (x)|<\epsilon$ erfüllt.

Beweis

Teil 1

Ohne Beschränkung der Allgemeinheit gelte $a=0,b=1$.

Sei $K$ eine binomialverteilte Zufallsvariable mit den Parametern $n$ der Anzahl der Versuche bis zum ersten Erfolg (bei einer Folge unabhängiger Bernoulli-Versuche) und Erfolgswahrscheinlichkeit $p$. Dann gilt $\mathbb {E} \left[{\frac {K}{n}}\right]=p$.

Mit dem schwachen Gesetz der großen Zahlen ($\mathbb {E} [K/n]=p$!) folgt

$\lim _{n\to \infty }{P\left(\left|{\frac {K}{n}}-p\right|>\delta \right)}=0$

für alle $\delta >0$ (Konvergenz in Wahrscheinlichkeit von $K/n$gegen $p$).

Diese Konvergenz bzgl. $n$ ist sogar gleichmäßig in $p$, weil gemäß dem folgenden Lemma die Varianz von $K/n$ durch eine Nullfolge ohne Abhängigkeit von $p$ nach oben hin und nach unten hin durch 0 beschränkt ist.

Lemma

Die Varianz von $K/n$ ist beschränkt durch ${\frac {1}{4n}}$.

Beweis des Lemmas

Da $K$ binomialverteilt ist, ist

${\begin{aligned}Var(K/n)&={\frac {Var(K)}{n^{2}}}\\&={\frac {np(1-p)}{n^{2}}}\\&={\frac {p(1-p)}{n}}\\&={\frac {-p^{2}+p}{n}}\end{aligned}}$

. Wir suchen das globale Maximum bezüglich $p$ auf $[0,1]$.

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} 0 &= \frac{\partial Var(K/n)}{\partial p} = \frac{-2p + 1}{n}\\ 0 &= -2p + 1\\ -1 &= -2p\\ p &= \frac{1}{2} \end{align}}

. Bei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{p} := \frac{1}{2}} befindet sich also ein lokaler Extremwert. Wegen

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \frac{\partial^2 Var(K/n)}{\partial^2 p} = -2 > 0}

an der Stelle Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{p}} ist dieses lokale Extremum ein lokales Maximum. Auf dem Rand (für Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p = 0} oder Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p = 1} ) ist die Varianz 0 und damit kleiner dem lokalen Maximum. Also liegt bei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \hat{p}} ein globales Maximum mit Funktionswert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Var(K / n)\left(\frac{1}{2}\right) = \frac{1}{4n}} .

Beweis des Satzes Teil 2

Das Intervall Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle [0, 1]} ist abgeschlossen und beschränkt, also kompakt (Satz von Heine-Borel). Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} ist stetig (in Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p} ), also insbesondere fast überall stetig. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} ist stetig, also messbar. Außerdem ist Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} auf einem kompakten Intervall definiert.

Also ist Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} auf diesem Intervall auch gleichmäßig stetig und beschränkt (durch Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p} , eine integrierbare Funktion mit endlichem Erwartungswert, siehe Lemma).

Daraus folgt für alle Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \varepsilon > 0} die gleichmäßige Konvergenz in Wahrscheinlichkeit in Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle p} (nach dem gleichmäßigen Gesetz der großen Zahl, ), alsoFehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle }

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \lim_{n \to \infty}{ P\left( \left| f\left( \frac{K}{n} \right) - f\left( x \right) \right| > \varepsilon \right) } = 0} .

(siehe auch hier????????) Aus der Beschränktheit von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} (auf dem gegebenen Intervall) folgt mit dem Satz über die majorisierte Konvergenz für Zufallsvariablen die (gleichmäßige, weil Absolutbetrag unabhängig von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x} beschränkt und damit Erwartungswert ebenso (Monotonie des Erwartungswertes)) Konvergenz der Erwartungswerte

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \lim_{n \to \infty}{ E\left[ \left| f\left( \frac{K}{n} \right) - f\left( x \right) \right| \right] } = 0} .

Lemma 2

Für alle Funktionen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} und alle natürlichen Zahlen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle n} gilt:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f(x) = \sum_{k=0}^n f(x){n \choose k}p^{k}(1 - p^{n-k})}

Beweis des Lemmas 2

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} f(x) &= f(x) \times 1^n \\ &= f(x) \times (p + 1 - p)^n \\ &= f(x) \times \sum_{k=0}^n {n \choose k}p^{k}(1 - p)^{n-k} \\ &= \sum_{k=0}^n f(x){n \choose k}p^{k}(1 - p)^{n-k} \end{align}}

aufgrund des Binomischen Lehrsatzes.

Beweis des Satzes Teil 3

Gemäß dem Lemma 2 gilt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle |f(K/n) - f(p)| = \sum_{k=0}^n |f(K/n) - f(p)|{n \choose k}p^{k}(1 - p)^{n-k}} . Sei Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \varepsilon > 0} . Wegen der Stetigkeit von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} existiert dann ein Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \delta > 0} , sodass gilt:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \forall x, y \in [a, b]: |x - y| < \delta \implies |f(x) - f(y)| < \varepsilon / 2.}

Zerlege die Summe in zwei Teile:

• einen Teil Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle A} mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle k} -Werten, die Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle |k/n - x| < \delta} erfüllen und
• einen Teil Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle B} mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle k} -Werten, die diese Bedingung nicht erfüllen.

Wegen der Stetigkeit von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} gilt für alle Summenglieder von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle A} : Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle |f(K(x) / n) - f(x)| < \varepsilon / 2} und für all jene von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle B} : Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle |f(K(x) / n) - f(x)| < M + M = 2 M} wegen der Beschränktheit von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f} auf Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle [a, b]} . Daraus ergibt sich:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} \mathbb{E}\left[|f(K/n) - f(x)|\right] &= \mathbb{E}\left[\sum_{k=0}^n |f(K/n) - f(x)|{n \choose k}p^{k}(1 - p)^{n-k}\right] \\ &\leq \mathbb{E}\left[(\mathbf{1}_{k \text{ wie in }A}) \times \varepsilon / 2\right] + \mathbb{E}\left[(\mathbf{1}_{k \text{ wie in }B}) \times 2M\right]\\ &= P(k \text{ wie in }A) \times \varepsilon / 2 + P(k \text{ wie in }B) \times 2 M \\ &\leq 1 \times \varepsilon / 2 + 2M \frac{\varepsilon}{4n} \\ &= \varepsilon \end{align}}

. Mit der Dreiecksgleichung des Erwartungswertes und seiner Linearität folgt für ein beliebiges, fixes Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x } :

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} \mathbb{E}\left[|f(K/n) - f(x)|\right] &\geq |\mathbb{E}\left[f(K/n) - f(x)\right]| \\ &= |\mathbb{E}\left[f(K/n)\right] - \mathbb{E}\left[f(x)\right]| \\ &= |\mathbb{E}\left[f(K/n)\right] - f(x)| \end{align}}

. Definiere die Bernstein-Polynome durch

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} B_n(f)(x) := \sum_{\nu = 0}^n f\left( \frac{\nu}{n} \right) b_{\nu,n}(x) \end{align}}

mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle b_{\nu,n}(x) = {n \choose \nu} x^{\nu} \left( 1 - x \right)^{n - \nu}, \quad \nu = 0, \ldots, n.}

Dann genügt es, Lemma 3 zu zeigen, denn dann ist zusammengefasst (mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbf{P} := B_n (f) } ):

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} |B_n (f)(x) - f(x)| &= |\mathbb{E}[f(K / n)] - f(x)| \\ &\leq \mathbb{E}[|f(K / n) - f(x)|] \\ &\leq \varepsilon. \end{align} }

Lemma 3

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \mathbb{E}[f(K/n)] = B_n(f)(x)}

Beweis

Es folgt schrittweise aus dem Gesetz des bewusstlosen Statistikers (»law of unconscious statistician«), der Berechnung der Wahrscheinlichkeitsfunktion und dem Einsetzen der Wahrscheinlichkeitsfunktion der Binomialverteilung das Ergebnis.

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{align} \mathbb{E}[f(K/n)] &= \sum_{\nu = 0}^n f(\nu / n) f_{K/n}(\nu / n) \\ &= \sum_{\nu = 0}^n f(\nu / n) f_{K}(n \nu / n) \left| \frac{d n \nu / n} {d\nu} \right| \\ &= \sum_{\nu = 0}^n f(\nu / n) f_{K}(\nu) \left| \frac{d\nu} {d\nu} \right| \\ &= \sum_{\nu = 0}^n f(\nu) f_{K}(\nu) \left| 1 \right| \\ &= \sum_{\nu = 0}^n f(\nu) f_{K}(\nu) \\ &= \sum_{\nu = 0}^n f\left( \frac{\nu}{n} \right) {n \choose \nu} x^{\nu} \left( 1 - x \right)^{n - \nu} \end{align} }