Robbins-Monro-Prozess

aus Wikipedia, der freien Enzyklopädie

Der Robbins-Monro-Prozess ist ein stochastischer Prozess, mit dessen Hilfe die Nullstelle einer unbekannten Regressionsfunktion stochastisch approximiert werden kann. Er wurde 1951 von Herbert Robbins und Sutton Monro vorgestellt.

Definition

Sei eine Familie von Zufallsvariablen und eine messbare Funktion, sodass gilt: . Sei zudem eine eindeutige Lösung gegeben, sodass . Dann heißt die Folge von Zufallsvariablen gegeben durch

Robbins-Monro-Prozess, wobei eine beliebige reelle Konstante und eine Folge reeller Konstanten mit sei.

Konvergenz von Xn gegen θ

Unter den folgenden vier Bedingungen konvergiert in gegen [1]:

  • ,
  • ist monoton wachsend,
  • existiert,
  • genügt folgenden Bedingungen:

Einfaches Beispiel

Seien um verschobene Sinusfunktionen zwischen und mit zufälligen Schwankungen , die an den Rändern linear fortgesetzt werden.

Wobei unabhängige, gleichverteilte Zufallsvariablen in sind. Sei außerdem Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle a_n = \tfrac{1}{n+1}} und Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X_1 = \tfrac{1}{2}} . Dann konvergiert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X_{n+1} = X_n-a_n(Y_{X_n})} gegen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \pi/6} .

Einzelnachweise

  1. Herbert Robbins, Sutton Monro: A Stochastic Approximation Method. In: The Annals of Mathematical Statistics. 22, Nr. 3, 1951, S. 405 Theorem 2.

Literatur

  • Herbert Robbins, Sutton Monro: A Stochastic Approximation Method. In: The Annals of Mathematical Statistics. 22, Nr. 3, 1951, S. 400–407(PDF-Datei; 514KB).
  • Marie Duflo: Random Iterative Models, Springer Verlag, 1997.