Differentielle Entropie

aus Wikipedia, der freien Enzyklopädie

Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen.

Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes.[1]

Definition

Eine kontinuierliche Zufallsvariable Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle X} kann unendlich viele Werte annehmen, d. h. könnte man ihre Werte exakt ermitteln, wäre die Wahrscheinlichkeit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P(\cdot)} für einen bestimmten Wert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_0} gleich Null:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P(X = x_0) = \lim_{\varepsilon \to 0} \varepsilon f_X(x_0) = 0}

Und somit der Informationsgehalt eines jeden Werts unendlich:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \lim_{p_x \to 0} I(p_x) = -\lim_{p_x \to 0} \log_2(p_x) = \infty}

Sei eine kontinuierliche Zufallsvariable mit der Wahrscheinlichkeitsdichtefunktion Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f_X} , dann ist ihre differentielle Entropie definiert als

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle h(X) = - \int_{-\infty}^{+\infty} f_X(x) \log f_X(x) \, \text{d}x = E[-\log f_X(x)]}

Im Gegensatz zur Shannon-Entropie kann die differentielle Entropie auch negativ sein.

Da die differentielle Entropie nicht skalierungsinvariant ist (s. u.), empfiehlt es sich, die Zufallsvariable geeignet zu normieren, sodass sie dimensionslos ist.

Eigenschaften

  • Die differentielle Entropie ist verschiebungsinvariant, d. h. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle h(X + c) = h(X)} für konstante Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle c} . Es ist somit hinreichend, mittelwertfreie Zufallsvariablen zu betrachten.
  • Für die Skalierung gilt: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle h(A \textbf{X}) = h(\textbf{X}) + \log_2(|A|)} mit dem Zufallsvektor Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle {\textbf {X}}\in \mathbb {R} ^{n}} und dem Betrag der Determinante Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle |A|} .

Differentielle Entropie für verschiedene Verteilungen

Für eine gegebene Varianz Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma_x^2} besitzt die Gauß-Verteilung die maximale differentielle Entropie, d. h. ihre „Zufälligkeit“ oder ihr Überraschungswert ist – verglichen mit allen anderen Verteilungen – am größten. Sie wird deshalb auch zur Modellierung von Störungen beim Kanalmodell verwendet, da sie ein Worst-Case-Modell für Störungen darstellt (siehe auch additives weißes gaußsches Rauschen).

Für einen endlichen Wertebereich, d. h. ein gegebenes Betragsmaximum besitzt eine gleichverteilte Zufallsvariable die maximale differentielle Entropie.

Übersicht verschiedener Wahrscheinlichkeitsverteilungen und ihre differentielle Entropie
Verteilung Wahrscheinlichkeitsdichtefunktion Differentielle Entropie (in Bit) Träger
Gleichverteilung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f(x) = \frac{1}{2a}} Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle [-a,+a]}
Normalverteilung Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)} Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (-\infty,\infty)}
Laplace-Verteilung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f(x) = \frac{1}{\sqrt{2} \sigma_x} \exp \left( -\frac{\sqrt{2} |x - \mu|}{\sigma_x} \right)} Fehler beim Parsen (Konvertierungsfehler. Der Server („https://wikimedia.org/api/rest_“) hat berichtet: „Cannot get mml. Server problem.“): {\displaystyle {\frac {1}{2}}\log _{2}(2e^{2}\sigma _{x}^{2})} Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle (-\infty,\infty)}
Symmetrische Dreiecksverteilung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f(x) = \begin{cases} \frac{1}{a} \left( 1 - \frac{|x|}{a} \right) & \forall \; |x| \leq a \\ 0 & \forall \; |x| > a \end{cases}} Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle [0,1]}

Literatur

  • Thomas M. Cover, Joy A. Thomas: Elements of Information Theory. John Wiley & Sons, 1991, ISBN 0-471-06259-6, S. 224–238.
  • Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
  • Peter Adam Höher: Grundlagen der digitalen Informationsübertragung. Von der Theorie zu Mobilfunkanwendungen, 1. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2011, ISBN 978-3-8348-0880-6.

Weblinks

Einzelnachweise

  1. ↑ Edwin Thompson Jaynes: Prior Probabilities. In: IEEE Transactions on Systems Science and Cybernetics. Band 4, Nr. 3, 1968, ISSN 0536-1567, S. 227–241, doi:10.1109/TSSC.1968.300117 (wustl.edu [PDF; abgerufen am 1. April 2021]).
Abgerufen von „https://de.wikiup.org/index.php?title=Differentielle_Entropie&oldid=218222733“