Benutzer:MRewald/Shannon (Einheit)

Shannon (abgekürzt: Sh) ist die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannte Einheit für den maximalen Informationsstrom (auch Informationsdichte genannt) der in einer Nachricht übertragen werden kann.

Definition

Ein Shannon (1 Sh) ist eine Einheit für das Maß an Information pro Zeichen in einer Nachricht. Dabei wird die Nachricht durch eine Zeichenmenge $Z=\{z_{1},z_{2},\dots ,z_{S}\}$ sowie durch die Wahrscheinlichkeiten p_i, mit denen die einzelnen Zeichen in der Nachricht auftauchen, beschrieben. Eine solche Nachricht kann pro Zeichen nach Definition maximal den folgenden, in Shannon gemessenen, Informationsgehalt übertragen:

$\mathrm {H} =-\sum _{i}{p_{i}\cdot \log _{2}p_{i}}\quad [{\text{Sh}}]$

Die Einheit Sh ergibt sich aus der von Claude Shannon begründeten Informationstheorie und entspricht der Entropie der betreffenden Nachrichtenquelle und in der Biometrie dem Shannon-Index einer Population unterschiedlicher Spezies.

Beispiele

• Das einfachste Beispiel: Eine einmalige Nachricht aus dem Zeichenvorrat $Z=\{0,1\}$, wobei beide Zeichen mit der Wahrscheinlichkeit von je 0,5 auftreten, hat den Informationsgehalt $-{\frac {1}{2}}\;\log _{2}\!\left({\frac {1}{2}}\right)-{\frac {1}{2}}\;\log _{2}\!\left({\frac {1}{2}}\right)=-\log _{2}\!\left({\frac {1}{2}}\right)=\log _{2}(2)=1\,{\text{Sh}}$.

• Wenn der Zeichenvorrat aus zehn Zeichen, etwa $\{0,1,2,3,4,5,6,7,8,9\}$ besteht, wobei wieder alle Zeichen mit gleicher Wahrscheinlichkeit auftreten, dann beträgt der Informationsgehalt $-\log _{2}\left({\frac {1}{10}}\right)=\log _{2}(10)\approx 3{,}322\ \mathrm {Sh}$. Das kann man so interpretieren, dass man auf jeden Fall mit einer 4-Bit-Kodierung auskommt, um solche Nachrichten zu übertragen (dies wird etwa durch den BCD-Code realisiert), dass dabei aber noch Redundanz vorhanden ist. Beim BCD-Code äußert sich diese Redundanz so, dass von den 16 unterschiedlichen Zeichen, die mit diesem Code dargestellt werden können, nur 10 wirklich auftreten.

Normung

Begriffsfestlegungen zu Einheiten des Entscheidungsgehalts in der Informationstheorie findet man in den internationalen Normen IEC 60027-3 und ISO 2382-16. Dort ist neben der auf dem Logarithmus zur Basis 2 beruhenden Einheit Shannon (Einheitenzeichen: Sh) noch das auf dem Zehner-Logarithmus beruhende Hartley (Einheitenzeichen: Hart) und die auf dem natürlichen Logarithmus beruhende natürliche Informationseinheit (Einheitenzeichen: nat) erklärt.

„Der Versuch der International Organization for Standardization (ISO) 1975 die Einheit Bit durch die Shannon-Einheit zu ersetzen, […] war rückblickend betrachtet nicht sehr erfolgreich.“

– Walter Umstätter

Missverständnisse

Weit verbreitet ist die Ansicht, die Maßeinheit Shannon würde den Informationsumfang einer Nachricht angeben. Das ist aber in zweifacher Hinsicht falsch. Shannon beschäftigt sich in seiner Arbeit A Mathematical Theory of Communication in erster Linie mit Kommunikationssystemen. Im Zentrum steht die Fragestellung wie schnell Information durch einen Nachrichtenkanal transportiert werden kann und welches die begrenzenden Faktoren sind. Der Fokus liegt also auf dem Übertragungskanal, nicht auf der Nachricht. Es geht in seiner Theorie deshalb darum:

1. Naturgemäß ist der mögliche Informationsumfang einer Nachricht um so größer, je länger die Nachricht ist. In der oben angegebenen Formel wird aber nur das Alphabet betrachtet, das zur Darstellung einer Nachricht verwendet wird. Die Länge der Nachricht wird gar nicht betrachtet. Es geht also nicht um den Informationsumfang einer Nachricht, sondern um deren mögliche Informationsdichte, also durchschnittliche Information je übertragenem Zeichen.
2. Die Formel lässt auch keine Schlussfolgerung darüber zu, ob die theoretisch erreichbare Informationsdichte auch tatsächlich ausgenutzt wird. Sie gibt lediglich eine Obergrenze an, die nicht überschritten, wohl aber unterschritten werden kann und in der Regel auch unterschritten wird.

Damit gibt die Einheit Shannon nicht den Informationsumfang einer Nachricht an, sondern die maximale Übertragungsrate, die nicht überschritten werden kann.

Einzelnachweis

Kategorie:Informationseinheit Kategorie:Informationstheorie