Verbundentropie

aus Wikipedia, der freien Enzyklopädie

Die Verbundentropie ist ein Maß für den mittleren Informationsgehalt mehrerer Nachrichtenquellen.

Definition

Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:[1]

Hierbei sind und jeweils einzelne Symbole aus den Quellenalphabeten und .

Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt

und somit

.

Für mehr als zwei Quellen ergibt sich:

Siehe auch

Literatur

  • Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
  • Peter Bocker: Datenübertragung. Band I – Grundlagen. Springer Verlag, Berlin / Heidelberg 1976, ISBN 978-3-662-06499-3.

Weblinks

Einzelnachweise

  1. T. H. Cover, J. A. Thomas, Elements of Information Theory, S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9