Das Kefk Network Wiki befindet sich im Testbetrieb.

Redundanz (Informationstheorie)

Aus Kefk.

Wechseln zu: Navigation, Suche
<imagemap>-Fehler: Bild ist ungültig oder nicht vorhanden Die Artikel Redundanz (Kommunikationstheorie), Redundanz (Information) und Redundanz (Informationstheorie) überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zu vereinigen. Die Diskussion über diese Überschneidungen findet hier statt. Bitte äußere dich dort, bevor du den Baustein entfernst. Speck-Made 00:25, 12. Feb. 2007 (CET)
Wikipedia
 Dieses Dokument entstammt in seiner ersten oder einer späteren Version der deutschsprachigen Wikipedia. Es ist dort zu finden unter dem Stichwort Redundanz_%28Informationstheorie%29, die Liste der bisherigen Autoren befindet sich in der Versionsliste; die Originalfassung kann dort auch bearbeitet werden. Alle Texte der Wikipedia und ihre Derivate stehen unter der GNU-Lizenz für freie Dokumentation.


Bild:Disambig-dark.svg Dieser Artikel erläutert den Begriff Redundanz in der Informationstheorie, für andere Bedeutungen siehe Redundanz.

Die Redundanz (Weitschweifigkeit) gibt an, wieviel überflüssige Information im Mittel pro Zeichen in einer Informationsquelle vorhanden ist.

Sei Alphabet Z, wobei z ∈ Z
C(z) bezeichnet das zu z gehörende Codewort
l(z) bezeichnet die Länge von C(z)

Die mittlere Codewortlänge L(C) eines Quell-Codes C(z) mit der Wahrscheinlichkeitsverteilung p(z) ist gegeben durch:

L(C) = \sum_{i=1}^{|Z|}{l(z)p(z)}

Die Redundanz des Codes ist die Differenz zwischen Codewortlänge L(C) und Entropie H(X). (Bsp.: Huffman-Kodierung für optimales(=minimales) L(C) ).

R_{Code} = L(C) - H(X) \,

Die Redundanz der Quelle ist die Differenz zwischen maximaler Entropie Hmax(X) = log2|Z| und der Entropie H(X) der Nachrichtenquelle.

R_{Quelle} = \log_2 |Z| - H(X) \,

Da die Codewortlänge nicht kleiner als die Entropie sein kann, ist die Redundanz nie negativ.

Redundanz ist das Gegenteil von Information. Sie wird in zwei Bereiche unterschieden:

  • Die Verteilungsredundanz liegt in dem unterschiedlich wahrscheinlichen Auftreten der einzelnen Zeichen des Alphabets.
  • Die Bindungsredundanz liegt darin, dass nach bestimmten Zeichen das Auftreten eines bestimmten anderen Zeichens besonders wahrscheinlich ist. Beispielsweise folgt in einem deutschen Text auf ein q fast immer ein u.

Von „http://www.kefk.org/wiki/Redundanz_%28Informationstheorie%29“
Persönliche Werkzeuge