Diskussion:Shannon (Einheit)

Link

Im Beispiel "Informationsmenge" auf "Datenmenge" geändert. Der Link zeigte ohnehin schon auf letzteres. Die 4 Bit enthalten neben der Information ja auch Redundanz.

Sollte man in der Formel das "Bit" gross oder klein schreiben? Ich tendiere eher zu klein, habe es aber erstmal gross gelassen. --Krille 11:33, 20. Okt 2005 (CEST)

Und wie ist ein Shannon nun definiert? --Zinnmann 00:38, 12. Jun 2004 (CEST)

Sollte jetzt beantwortet sein. --Supaari ^sag's_mir! 17:46, 20. Sep 2004 (CEST)

---

Das Beispiel ist bisschen für den Hintern

Vielleicht Auto verläßt Straßenkreuzung ( rechtwinklig, 4 Abfahrtsmöglichkeiten ) = 2 sh 85.25.96.94 14:40, 11. Jan. 2008 (CET)

Allgemeine Konvention in der Informationstheorie ist: Bit (groß) = Einheit der Information, bit (klein) = binärer Zustand Mbreiling (Diskussion) 02:09, 26. Okt. 2021 (CEST)

Zusammenführung

Hallo, ich habe mal diesen Artikel mit Bit (Informationstheorie) zusammengeführt. Siehe auch dortige Artikel-Geschichte. -- Pemu 02:03, 1. Dez 2005 (CET)

Quellenangaben fehlen

Zur Shannon Einheit fehlen Quellenangaben . Wann wurde diese Einheit festgelegt ? Ist diese Definition allgemein anerkannt ? Seit wann und durch welchs Gremium ? Es gibt dazu keine englische Wikiseite. Benutzer:Rho

Zitat aus: http://www.ib.hu-berlin.de/~wumsta/dhb3.html Der Versuch der International Standard Organization (ISO) 1975 die Einheit Bit durch die Shannon-Einheit zu ersetzten, um den Unterschied zwischen einem binary digit und einem binary element deutlich zu machen, war rückblickend betrachtet nicht sehr erfolgreich.

---

"dimensionslose Einheit" ist ein Widerspruch in sich (ein Oxymoron)! --> Hinweis-Einheit (nicht signierter Beitrag von 84.147.219.112 (Diskussion) )

An die QS

Dieser Artikel enthält keine formale Definition des Begriffs " 1 Sh". Die Einheit Sh hängt eng zusammen mit den Einheiten Nit, Natürliche Informationseinheit, Hartley (Einheit). Ausserdem sind noch Fragen aus der Disku offen.Dhanyavaada 18:48, 11. Okt. 2009 (CEST)

Habe ànderungen vorgenommen und QS-Baustein entfernt. Dhanyavaada 15:16, 14. Okt. 2009 (CEST)

Leider hat die QS praktisch nichts gebracht. Die "Definition" definiert immer noch nicht, was ein Shannon ist, zum Beispiel was der Unterschied zwischen einem Shannon und einem Bit ist. Dann ist die Ausdrucksweise etwas seltsam: da steht, die Nachricht bestehe aus einer "Zeichenmenge" Z = {z1,z2,...,zS}. Ist damit wie bei "Beispiele" der Zeichenvorrat gemeint? Die "Zeichenmenge" der Nachricht "Hallo" wäre {H,a,l,o}, eher gemeint ist doch die Menge {A-Z,a-z,...}.

Was hat die Länge einer Nachricht für eine Auswirkung auf den Shannon-Gehalt? Die Anzahl der Zeichen wird nirgends erwähnt? Hat eine Nachricht 3,2 Shannon, wenn jedes Zeichen der Nachricht 3,2 Bit hat?

Was ist, wenn die Zeichen unterschiedlich wahrscheinlich sind? Hat die Nachricht "Anneliese" weniger Informationsgehalt als die Nachricht "Xylofon"? --androl ☖☗ 22:04, 5. Jul. 2010 (CEST)

Statt Zeichenmenge verwendet man normalerweise den Begriff (Symbol-) Alphabet. Bei Vektoren (Nachricht = Zeichenfolge) ist Informationsgehalt / Entropie entsprechend über die Menge von Vektoren (als Alphabet) zu berechnen. Einfaches Aufsummieren über die einzelnen Nachrichtensymbole / Vektorelemente ist nur im Falle von i.i.d. Symbolen korrekt. Mbreiling (Diskussion) 02:18, 26. Okt. 2021 (CEST)

1/2 in NICHT-math schreibweise

Ich habe in dem Abschnitt "Beispiele" in dem Textausschnitt "...wobei beide Zeichen mit der Wahrscheinlichkeit von je 1/2 auftreten...) die math-Schreibweise in eine normale Fließtext-Schreibweise umgeändert. Dadurch wird der Lesefluss nicht mehr durch eine neue Zeile unterbrochen, in der lediglich ein einzelnes 1/2(math) steht und somit deutlich verbessert. -- RanuKanu 06:04, 29. Nov. 2010 (CET)

Beistrichsetzung

--188.21.75.154 10:55, 30. Apr. 2011 (CEST)

Shannon (Sh) ist die, nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon, benannte Einheit für den Informationsgehalt einer Nachricht.

Oder besser:

Shannon (Sh) ist die Einheit für den Informationsgehalt einer Nachricht, die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannt wurde.

Seltsame Interpretation

Im Beispiel steht:

Das kann man so interpretieren, dass man auf jeden Fall mit einer 4-Bit-Kodierung auskommt, um solche Nachrichten zu übertragen (dies wird etwa durch den BCD-Code realisiert), dass dabei aber noch Redundanz vorhanden ist. Beim BCD-Code äußert sich diese Redundanz so, dass von den 16 unterschiedlichen Zeichen, die mit diesem Code dargestellt werden können, nur 10 wirklich auftreten.

Das ist eine höchst eigenwillige Interpretation. Natürlich folgt obige Aussage aus ln_2(10) < 4, aber was bitte hat das damit zu tun, dass der Informationsgehalt der Nachricht bei ln_2(10) Shannon liegt? --77.2.120.29 08:35, 20. Dez. 2011 (CET)

Definition

Ich habe jetzt keine schriftliche Quelle dafür zur Hand, aber die im Artikel formulierte Definition ist nicht ganz richtig. Die von Shannon entwickelte Formel gibt nicht den tatsächlichen Informationsgehalt einer Nachricht wieder, sondern vielmehr die Obergrenze der Informationsdichte, die nicht überschritten, wohl aber unterschritten werden kann. Seine Theorie beschäftigt sich mit "Kanalkapazitäten", insofern ist die Bestimmung von Obergrenzen durchaus von entscheidender Bedeutung. Die Annahme, dass die Einheit nicht die Kapazität, sondern eine Informationsmenge wiedergibt ist allerdings wohl recht verbreitet.

Man kann sich das relativ einfach überlegen: Wenn man mit Hilfe eines Zufallsgenerators eine Zeichenfolge generiert, führt das nach der Shannonschen Formel zu einem positiven Wert. Die Wahrscheinlichkeit, dass eine solche Folge eine sinnvolle Information enthält ist aber, vorsichtig ausgedrückt, sehr klein. Der berechnete Wert gibt also wieder, welchen Informationsgehalt eine solche Folge pro Zeichen maximal transportieren könnte', aber nicht', welchen sie tatsächlich enthält. Da die Formel auch keine Angaben zur Länge einer Nachricht berücksichtigt, gibt sie auch nicht die den maximalen Informationsgehalt wieder, sondern eine maximale Informationsdichte. Der maximale Informationsgehalt ergibt sich erst wenn man die Dichte mit der Länge der Nachricht multipliziert.

Und was tatsächlich an Information enthalten ist, ist Kontext-Abhängig.

Ich erinnere mich, dass dieser Unterschied meinem Signaltheorie-Prof. im Studium sehr wichtig war und deshalb einer der wichtigen Punkte für die Prüfung. Es kam auch eine entsprechende Frage in der Prüfung dran. Allerdings habe ich nach mehreren Jahrzehnten das Vorlesungsskript natürlich nicht mehr verfügbar und werde auch keine aufwändige Recherche starten um jetzt andere Quellen ausfindig zu machen.

Hat jemand eine entsprechende Quelle zur Hand und kann das korrigieren? --MRewald (Diskussion) 11:55, 3. Sep. 2015 (CEST)

Nein, in o.a. Kommentar werden leider Entropie und Transinformation durcheinander gebracht. Bitte in einschlägigen Büchern nachlesen. Mbreiling (Diskussion) 02:20, 26. Okt. 2021 (CEST)

Siehe z.B. http://www.inference.org.uk/mackay/itila/ Mbreiling (Diskussion) 02:22, 26. Okt. 2021 (CEST)

Shannon als Einheit für die Entropie?

Wenn ich mich nicht sehr irre, wird im Abschnitt Definition fälschlicherweise die Formel für die Entropie – nicht die für den Informationsgehalt – angegeben. Ich denke korrekt wäre auch hier die Definition, die sich im Artikel zum Informationsgehalt findet. --Stefan Nagy (Diskussion) 13:46, 7. Dez. 2016 (CET)