Benutzer:Rbb/Konjugierter Prior2

Dieser Artikel ist im Entstehen und noch nicht Bestandteil der freien Enzyklopädie Wikipedia.

Solltest du über eine Suchmaschine darauf gestoVorlage:SSen sein, bedenke, dass der Text noch unvollständig sein und Fehler oder ungeprüfte Aussagen enthalten kann. Wenn du Fragen zum Thema hast, nimm Kontakt mit dem Autor Rbb auf.

Als Konjugierte Prioren (auch konjugierte A-priori-Verteilungen) bezeichnet man in der Bayesschen Statistik Familien von Wahrscheinlichkeitsverteilungen, die bezüglich einer Familie von Likelihood-Funktionen im Satz von Bayes sowohl die A-priori-Verteilung als auch die A-posteriori-Verteilung beschreiben. Die Verwendung von konjugierten Prioren ermöglicht es eine statistische Schätzung immer wieder zu aktualisieren, sobald neue Daten vorliegen, ohne die Natur (Familie) der Verteilung zu verändern.

Zum Beispiel ist die Familie der Normalverteilungen selbstkonjugiert, also konjugierte Prioren für eine normalverteilte Likelihood.

Das Konzept der konjugierten Prioren wurde von Howard Raiffa and Robert Schlaifer in ihrer Arbeit zu Bayesianische Entscheidungstheorie eingeführt. Ein ähnliches Konzept wurde unabhängig von George Alfred Barnard entdeckt.

Die Verwendung konjugierter Prioren vereinfacht die algebraische Bestimmung des Posteriors; sie ist in geschlossener Form möglich, wo ansonsten numerische Verfahren zum Einsatz gebracht werden müssten. Außerdem helfen konjugierte Prioren beim Verständnis der Anwendung des Satzes von Bayes, da sie den Vorgang des „Lernens“ transparent und nachvollziehbar machen.

Alle Mitglieder der Exponentialfamilie haben konjugierte Prioren, die in wissenschaftlicher Literatur dokumentiert sind.

Tabellarischer Überblick über Likelihood-Verteilungen und konjugierte Prioren

Im Folgenden sei $n$ die Anzahl der Beobachtungen.

Wenn die Likelihood zur Exponentialfamilie gehört, existiert ein konjugierter Prior, der oft ebenfalls aus der Exponentialfamilie stammt.

Diskrete Verteilungen

Likelihood	Modellparameter	Konjugierte Priorverteilungen	Prior Hyperparameter	Posterior Hyperparameter	Interpretation der Hyperparameter	Posterior-Vorhersage
Bernoulli	p (Wahrscheinlichkeit)	Beta	$\alpha ,\,\beta \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!$	$\alpha -1$ Erfolge, $\beta -1$ Misserfolge	$p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}$
Binomial	p (Wahrscheinlichkeit)	Beta	$\alpha ,\,\beta \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!$	$\alpha -1$ Erfolge, $\beta -1$ Misserfolge	$\operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')$ (beta-binomial)
negative binomial bekannte Anzahl der Misserfolge r	p (Wahrscheinlichkeit)	Beta	$\alpha ,\,\beta \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +rn\!$	$\alpha -1$ Gesamtzahl Erfolge, $\beta -1$ Misserfolge (d. h. ${\frac {\beta -1}{r}}$ Versuche mit festem $r$)
Poisson	λ (Rate)	Gamma	$k,\,\theta \!$	$k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!$	$k$ Gesamtereignisse in $1/\theta$ Intervallen	$\operatorname {NB} ({\tilde {x}}|k',{\frac {\theta '}{1+\theta '}})$ (negativ binomial)
Poisson	λ (Rate)	Gamma	$\alpha ,\,\beta \!$	$\alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!$	$\alpha$ Ereignisse in $\beta$ Intervallen	$\operatorname {NB} ({\tilde {x}}|\alpha ',{\frac {1}{1+\beta '}})$ (negativ binomial)
Kategoriell	p (Wahrscheinlichkeitsvektor), k (Anzahl der Kategorien, d. h. Dimension von p)	Dirichlet	${\boldsymbol {\alpha }}\!$	${\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),$ mit $c_{i}$ Anzahl der Beobachtungen in Kategorie i	$\alpha _{i}-1$ Ereignisse in Kategorie $i$	$p({\tilde {x}}=i)={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}$     $={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}$
Multinomial	p (Wahrscheinlichkeitsvektor), k (Anzahl der Kategorien, also Dimension von p)	Dirichlet	${\boldsymbol {\alpha }}\!$	${\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!$	$\alpha _{i}-1$ Ereignisse in Kategorie $i$	$\operatorname {DirMult} ({\tilde {\mathbf {x} }}|{\boldsymbol {\alpha }}')$ (Dirichlet-multinomial)
Hypergeometrisch mit bekannter Populationsgröße N	M Anzahl mit zu untersuchender Eigenschaft	beta-binomial	$n=N,\alpha ,\,\beta \!$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!$	$\alpha -1$ Erfolge, $\beta -1$ Misserfolge
Geometrisch	p0 (Wahrscheinlichkeit)	Beta	$\alpha ,\,\beta \!$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!$	$\alpha -1$ Experimente, $\beta -1$ gesamte Misserfolge

Kontinuierliche Verteilungen

Beachte: In den folgenden Fällen wird angenommen, dass die Daten aus n Punkten $x_{1},\ldots ,x_{n}$ bestehen.

Likelihood	Modellparameter	Konjugierte Priorverteilungen	Prior Hyperparameter	Posterior Hyperparameters	Interpretation der Hyperparameter	Posterior-Vorhersage
Normalverteilung mit bekannter Varianz σ2	μ (mean)	Normalverteilung	$\mu _{0},\,\sigma _{0}^{2}\!$	$\left.\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right)\right/\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right),$ $\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}$	Der Erwartungswert wurde geschätzt aus Beobachtungen mit Gesamtpräzision (Summe der einzelnen Präzisionen) $\tau _{0}=1/\sigma _{0}^{2}$ und mit dem Stichprobenmittel $\mu _{0}$	${\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})$
Normalverteilung mit bekannter Präzision τ	μ (Erwartungswert)	Normalverteilung	$\mu _{0},\,\tau _{0}\!$	$\left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}\right)\right/(\tau _{0}+n\tau ),\,\tau _{0}+n\tau$	Der Erwartungswert wurde geschätzt aus Beobachtungen mit Gesamtpräzision (Summe der einzelnen Präzisionen) $\tau _{0}$ und mit dem Stichprobenmittel $\mu _{0}$	${\mathcal {N}}\left({\tilde {x}}|\mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)$
Normalverteilung mit bekanntem Mittelwert μ	σ2 (Varianz)	Inverse gamma	$\mathbf {\alpha ,\,\beta }$	$\mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}$	Die Varianz wurde geschätzt aus $2\alpha$ Beobachtungen mit Stichprobenvarianz $\beta /\alpha$ (d. h mit der Summe der quadratischen Abweichungen $2\beta$ vom bekannten Erwartungswert $\mu$)	$t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')$
Normalverteilung mit bekanntem Erwartungswert μ	σ2 (Varianz)	Skalierte inverse Chi-Quadrat-Verteilung	$\nu ,\,\sigma _{0}^{2}\!$	$\nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!$	Varianz wurde geschätzt aus $\nu$ Beobachtungen mit Stichprobenvarianz $\sigma _{0}^{2}$	$t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')$
Normalverteilung mit bekanntem Erwartungswert μ	τ (Präzision)	Gamma	$\alpha ,\,\beta \!$	$\alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!$	Präzision wurde geschätzt aus $2\alpha$ Beobachtungen mit Stichprobenvarianz $\beta /\alpha$ (d. h mit der Summe der quadratischen Abweichungen $2\beta$ vom bekannten Erwartungswert $\mu$)	$t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')$
Normalverteilung	μ and σ2 Assuming exchangeability	Normal-inverse gamma	$\mu _{0},\,\nu ,\,\alpha ,\,\beta$	${\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,$ $\beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}$ ${\bar {x}}$ is the sample mean	mean was estimated from $\nu$ observations with sample mean $\mu _{0}$; variance was estimated from $2\alpha$ observations with sample mean $\mu _{0}$ and sum of squared deviations $2\beta$	$t_{2\alpha '}\left({\tilde {x}}|\mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)$
Normalverteilung	μ and τ Assuming exchangeability	Normal-gamma	$\mu _{0},\,\nu ,\,\alpha ,\,\beta$	${\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,$ $\beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}$ ${\bar {x}}$ is the sample mean	mean was estimated from $\nu$ observations with sample mean $\mu _{0}$, and precision was estimated from $2\alpha$ observations with sample mean $\mu _{0}$ and sum of squared deviations $2\beta$	$t_{2\alpha '}\left({\tilde {x}}|\mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)$
Mehrdimensionale Normalverteilung mit bekannter Covarianzmatrix Σ	μ (mean vector)	Mehrdimensionale Normalverteilung	${\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}$	$\left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),$ $\left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}$ $\mathbf {\bar {x}}$ is the sample mean	mean was estimated from observations with total precision (sum of all individual precisions)${\boldsymbol {\Sigma }}_{0}^{-1}$ and with sample mean ${\boldsymbol {\mu }}_{0}$	${\mathcal {N}}({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})$
Mehrdimensionale Normalverteilung with known precision matrix Λ	μ (mean vector)	Mehrdimensionale Normalverteilung	$\mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}$	$\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)$ $\mathbf {\bar {x}}$ is the sample mean	mean was estimated from observations with total precision (sum of all individual precisions)${\boldsymbol {\Lambda }}$ and with sample mean ${\boldsymbol {\mu }}_{0}$	${\mathcal {N}}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',({{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1})^{-1}\right)$
Mehrdimensionale Normalverteilung mit bekanntem Mittel μ	Σ (covariance matrix)	Inverse-Wishart	$\nu ,\,{\boldsymbol {\Psi }}$	$n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}$	covariance matrix was estimated from $\nu$ observations with sum of pairwise deviation products ${\boldsymbol {\Psi }}$	$t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)$
Mehrdimensionale Normalverteilung mit bekanntem Mittel μ	Λ (precision matrix)	Wishart-Verteilung	$\nu ,\,\mathbf {V}$	$n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}$	covariance matrix was estimated from $\nu$ observations with sum of pairwise deviation products $\mathbf {V} ^{-1}$	$t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)$
Mehrdimensionale Normalverteilung	μ (mean vector) and Σ (covariance matrix)	normal-inverse-Wishart	${\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}$	${\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,$ ${\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}$ $\mathbf {\bar {x}}$ is the sample mean $\mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}$	mean was estimated from $\kappa _{0}$ observations with sample mean ${\boldsymbol {\mu }}_{0}$; covariance matrix was estimated from $\nu _{0}$ observations with sample mean ${\boldsymbol {\mu }}_{0}$ and with sum of pairwise deviation products ${\boldsymbol {\Psi }}$	$t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)$
Mehrdimensionale Normalverteilung	μ (mean vector) and Λ (precision matrix)	normal-Wishart	${\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V}$	${\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,$ $\left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}$ $\mathbf {\bar {x}}$ is the sample mean $\mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}$	mean was estimated from $\kappa _{0}$ observations with sample mean ${\boldsymbol {\mu }}_{0}$; covariance matrix was estimated from $\nu _{0}$ observations with sample mean ${\boldsymbol {\mu }}_{0}$ and with sum of pairwise deviation products $\mathbf {V} ^{-1}$	$t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)$
Stetige Gleichverteilung	$U(0,\theta )\!$	Pareto	$x_{m},\,k\!$	$\max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!$	$k$ Beobachtungen mit maximalem Wert $x_{m}$
Pareto mit bekanntem Minimum xm	k (shape)	Gamma	$\alpha ,\,\beta \!$	$\alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!$	$\alpha$ observations with sum $\beta$ of the order of magnitude of each observation (i.e. the logarithm of the ratio of each observation to the minimum $x_{m}$)
Weibull mit bekanntem Formfaktor β	θ (scale)	Inverse gamma	$a,b\!$	$a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!$	$a$ observations with sum $b$ of the β'th power of each observation
Logarithmische Normalverteilung mit bekannter Präzision τ	μ (mean)	Normalverteilung	$\mu _{0},\,\tau _{0}\!$	$\left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}\ln x_{i}\right)\right/(\tau _{0}+n\tau ),\,\tau _{0}+n\tau$	"mean" was estimated from observations with total precision (sum of all individual precisions)$\tau _{0}$ and with sample mean $\mu _{0}$
Logarithmische Normalverteilung mit bekanntem Mittel μ	τ (precision)	Gamma	$\alpha ,\,\beta \!$	$\alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(\ln x_{i}-\mu )^{2}}{2}}\!$	precision was estimated from $2\alpha$ observations with sample variance ${\frac {\beta }{\alpha }}$ (i.e. with sum of squared log deviations $2\beta$ — i.e. deviations between the logs of the data points and the "mean")
Exponential	λ (rate)	Gamma	$\alpha ,\,\beta \!$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!$	$\alpha$ observations that sum to $\beta$	$\operatorname {Lomax} ({\tilde {x}}|\beta ',\alpha ')$ (Lomax distribution)
Gamma mit bekanntem Formfaktor α	β (Rate)	Gamma	$\alpha _{0},\,\beta _{0}\!$	$\alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!$	$\alpha _{0}$ observations with sum $\beta _{0}$	$\operatorname {CG} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')$
Inverse Gamma mit bekanntem Formfaktor α	β (inverse Scala)	Gamma	$\alpha _{0},\,\beta _{0}\!$	$\alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!$	$\alpha _{0}$ observations with sum $\beta _{0}$
Gamma mit bekannter Rate β	α (Form)	$\propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}$	$a,\,b,\,c\!$	$a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!$	$b$ or $c$ observations ($b$ for estimating $\alpha$, $c$ for estimating $\beta$) with product $a$
Gamma	α (Form), β (inverse Skala)	$\propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}$	$p,\,q,\,r,\,s\!$	$p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!$	$\alpha$ was estimated from $r$ observations with product $p$; $\beta$ was estimated from $s$ observations with sum $q$

Einzelnachweise

Kategorie:Bayessche Statistik