Absorbierender Zustand

Absorbierende Zustände sind ein Begriff aus der Theorie der Markow-Ketten, welche wiederum spezielle stochastische Prozesse in der Wahrscheinlichkeitstheorie sind. Absorbierend werden diejenigen Zustände genannt, welche nach dem Betreten nie wieder verlassen werden können.

Definition

Gegeben sei eine homogene Markowkette in diskreter Zeit mit höchstens abzählbarem Zustandsraum $Z$. Dann heißt eine Teilmenge $A\subset Z$ absorbierend, genau dann wenn

$P(X_{n+1}\in Z\setminus A\mid X_{n}\in A)=0$

gilt. Ist $A=\{k\}$ einelementig, also

$P(X_{n+1}\in Z\setminus \{k\}\mid X_{n}=k)=0$,

dann wird der Zustand $k$ absorbierender Zustand genannt. Weiter heißen

$\tau _{A}^{i}:=\min\{n\in \mathbb {N} :X_{n}\in A{\text{ und }}X_{0}=i\}$

Ersteintrittszeitpunkt in die absorbierende Menge und

$a_{i}:=P(\tau _{A}^{i}<\infty )$

die Absorptionswahrscheinlichkeit.

Berechnung der Absorptionswahrscheinlichkeiten

Sei eine homogene Markow-Kette mit Zustandsraum $Z$ und mehreren absorbierenden Mengen gegeben. Zur Berechnung der Absorptionswahrscheinlichkeiten in einer absorbierenden Menge $A$ bietet sich folgender Ansatz an: vereinige alle absorbierenden Mengen außer $A$ in der Menge $B$ und betrachte für alle $i\in Z\setminus (A\cup B)$

${\begin{aligned}P(\tau _{A}^{i}<N+1)&=\sum _{j\in Z}p_{ij}P(\tau _{A}^{j}<N)\\\Rightarrow a_{i}&=\sum _{j\in Z}p_{ij}a_{j}{\text{ für }}\ N\to \infty .\end{aligned}}$

Dies entspricht im Falle eines endlichen Zustandsraumes genau einer Lösung des Rechtseigenvektorproblems zum Eigenwert 1 der Übergangsmatrix. Im Allgemeinen ist die Lösung nicht eindeutig. Dies wird erreicht durch Hinzunahme der Randbedingungen $a_{i}=1$ falls $i\in A$ (bei Start im absorbierenden Zustand wurde bereits absorbiert) und $a_{i}=0$ falls $i\in B$ (bei Start in einem anderen absorbierenden Zustand kann $A$ nie erreicht werden).

Will man nun wissen, in welchem Zustand $k\in A$ absorbiert wird, so führen analoge Überlegungen wie oben zu der zusätzlichen Nebenbedingung $a_{i}=1$ falls $i=k$ und $a_{i}=0$ falls $\ i\in A\setminus \{k\}$.

Beispiele

Betrachte die folgende Übergangsmatrix, welche eine homogene Markow-Kette auf dem Zustandsraum $Z=\{1,2,3,4,5\}$ darstellt. Es gibt zwei absorbierende Mengen: der Zustand $\{1\}=A$ und die Menge $B=\{4,5\}$. Zustand 1 wird nur von Zustand 2 mit Wahrscheinlichkeit 0.1 erreicht, Zustände 4 und 5 nur von den Zuständen 2 (mit Wahrscheinlichkeit 0.1) oder von 3 (mit Wahrscheinlichkeit 0.5).

$P={\begin{bmatrix}1&0&0&0&0\\0{,}1&0&0{,}8&0{,}1&0\\0&0{,}5&0&0&0{,}5\\0&0&0&0&1\\0&0&0&1&0\end{bmatrix}}$

Der Eigenraum ist dann $\operatorname {span} ((-11,-1,0,1,1)^{T};(12,2,1,0,0)^{T})$ Wir interessieren uns nun für die Absorptionswahrscheinlichkeit in dem Zustand 1. Daher suchen wir nun einen Vektor, der $a_{1}=1$ erfüllt und $a_{4}=a_{5}=0$. Der zweite Vektor im Spann erfüllt die zweite Bedingung, die erste wird durch Normierung des Vektors erhalten. Damit ist $a=(a_{i})_{i=1\cdots 5}=(1,1/6,1/12,0,0)^{T}$ der Vektor, welcher als i-te Komponente die Absorptionswahrscheinlichkeit bei Start in i im Zustand 1 enthält. Will man nun die Absorptionswahrscheinlichkeit in $A={4,5}$ berechnen, so muss man $a_{1}=0$ und $a_{4}=a_{5}=1$ fordern. Daraus folgt dann Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle a=(a_{i})_{i=1\cdots 5}=(0,5/6,11/12,1,1)} . Schön zu sehen ist hier, dass sich die Absorptionswahrscheinlichkeiten zu eins aufsummieren, heißt das egal wo man startet, man immer entweder im Zustand 1 oder in den Zuständen 4 und 5 absorbiert wird.

Ist man nun an der Absorptionswahrscheinlichkeit im Zustand 4 interessiert, so liefert das direkte Ansetzen des Gleichungssystems und der Nebenbedingungen $a_{1}=a_{5}=0,a_{4}=1$ und

${\begin{aligned}-a_{2}&+0{,}8a_{3}&=-0{,}1\\0{,}5a_{2}&-a_{3}&=0.\end{aligned}}$

Daraus ergibt sich die Lösung $a=(a_{i})_{i=1\cdots 5}=(0,1/6,1/12,1,0)$.

Verwendung

Absorbierende Zustände sind insbesondere in der Populationsdynamik und in der Modellierung von Spielen interessant. In der Populationsdynamik lassen sich die Zeitschritte einer Markow-Kette als Generationen auffassen, der Zustandsraum sind dann die lebenden Individuen. Hier wäre ein absorbierender Zustand die 0, also die Tatsache, dass die Spezies ausgestorben ist. Damit sind in diesem Fall Aussterbewahrscheinlichkeit und Absorptionswahrscheinlichkeit in der 0 äquivalent. Typisches Beispiel ist hier der Galton-Watson-Prozess. Einige Glücksspiele lassen sich auch gut mithilfe von Markow-Ketten untersuchen. Dabei entspricht der Zeitpunkt der Spielrunde und der Zustandsraum dem Geld eines Spielers. Ein absorbierender Zustand wäre hier wieder die 0 (Pleite des Spielers) oder der Gesamteinsatz (Pleite des anderen Spielers). Damit ist die Absorptionswahrscheinlichkeit die Gewinn/Verlustwahrscheinlichkeit (vgl. Ruin des Spielers).

Literatur

• Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 8. Auflage, Vieweg, 2005. ISBN 978-3-834-80063-3
• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik, 4. Auflage, de Gruyter, 2009. ISBN 978-3-110-21526-7
• Christian Hesse: Angewandte Wahrscheinlichkeitstheorie: eine fundierte Einführung mit über 500 realitätsnahen Beispielen und Aufgaben, Vieweg, Braunschweig/Wiesbaden 2003, ISBN 978-3-528-03183-1.