Kreuzentropie

Die Kreuzentropie ist in der Informationstheorie und der mathematischen Statistik ein Maß für die Qualität eines Modells für eine Wahrscheinlichkeitsverteilung. Eine Minimierung der Kreuzentropie in Bezug auf die Modellparameter kommt einer Maximierung der Log-Likelihood-Funktion gleich.

Definition

Sei $X$ eine Zufallsvariable mit Zielmenge $\Omega$, die gemäß $P$ verteilt ist. Es sei weiter $Q$ eine Verteilung auf demselben Ereignisraum.

Dann ist die Kreuzentropie definiert durch:

$H(X;P;Q)=H(X)+D(P\Vert Q)$

Hierbei bezeichne $H(X)$ die Entropie von $X$ und $D(P\|Q)$ die Kullback-Leibler-Divergenz der beiden Verteilungen.

Äquivalente Formulierung

Durch Einsetzen der beiden Definitionsgleichungen $H(X)=-\sum _{x\in X}P(x)\log P(x)$ und $D(P\|Q)=\sum _{x\in X}P(x)\cdot \log {\frac {P(x)}{Q(x)}}$ ergibt sich nach Vereinfachung im diskreten Fall

$H(X;P;Q)=-\sum _{x\in \Omega }P(X=x)\cdot \log Q(X=x)\,.$

und im stetigen Fall (mit Dichtefunktionen $p$ und $q$)

$H(X;P;Q)=-\int _{\Omega }p(x)\cdot \log q(x)\mathrm {d} x$

Schätzung

Zwar hat die Kreuzentropie eine vergleichbare Aussagekraft wie die reine Kullback-Leibler-Divergenz, erstere lässt sich jedoch auch ohne genaue Kenntnis von $P$ schätzen. In der praktischen Anwendung ist daher $Q$ meist eine Approximation einer unbekannten Verteilung $P$.

Nach obiger Gleichung gilt:

$H(X;P;Q)=E_{P}(-\log Q(X))$,

wobei $E$ den Erwartungswert gemäß der Verteilung $P$ bezeichnet.

Sind nun $x_{1};\dots ;x_{n}\in \Omega$ Realisierungen von $X$, d. h. eine unabhängig und identisch gemäß $P$ verteilte Stichprobe, so ist also

${\hat {H}}(Q;n)=-{\frac {1}{n}}\sum _{i=1}^{n}\log Q(x_{i})$

ein erwartungstreuer Schätzer für die Kreuzentropie (siehe Importance Sampling).

Zusammenhang mit Log-Likelihood-Funktion

Gegeben sei ein Modell mit Parametern $\theta$ und (Ausgabe-)Wahrscheinlichkeitsdichte $q_{\theta }$ welches die Wahrscheinlichkeitsdichte Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle p_{\mathrm {data} }} annähern soll. Der wahre Wert der Parameter $\theta$ maximiert die erwartete Log-Likelihood-Funktion $E[\log(q_{\theta }(x))]=\int _{\Omega }dxp_{\mathrm {data} }(x)\log q_{\theta }(x)=-H(X;p_{\mathrm {data} },q_{\theta }).$

Diese Gleichungen können mithilfe von Stichproben genähert werden: Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle E[\log(q_{\theta }(x))]\approx {\widehat {\mathbf {E} }}_{n}[\log q_{\theta }(x);p_{\mathrm {data} }]={\frac {1}{n}}\sum _{i=1}^{n}\log q_{\theta }(x_{i})=-{\hat {H}}(X;p_{\mathrm {data} },q_{\theta })} , wobei die Näherung wie unter Importance Sampling dargestellt folgt. Beachte, das Auftreten der Log-Likelihood-Funktion Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle l=\sum _{i}\log q_{\theta }(x_{i})} in der Näherung, wobei die Skalierung ${\frac {1}{n}}$ die Lage des Maximums nicht verändert.

Abgeleitete Größen

Die Größe Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle 2^{H(X;P;Q)}} beziehungsweise $2^{H(X)}$ wird auch als Perplexität bezeichnet. Sie wird vor allem in der Spracherkennung verwendet.

Literatur

• Rubinstein, Reuven Y. / Kroese, Dirk P.: The Cross-Entropy Method - A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation and Machine Learning. Springer Verlag 2004, ISBN 978-0-387-21240-1.

Weblinks

• Statistische Sprachmodelle Universität München (PDF; 531 kB)