Diskussion:Informationsgehalt

Erste Anmerkungen

Ich finde den Artikel zwar super, habe aber eine grundsätzliche Frage: Wieso gibt man den Informationsgehalt mit dem negativen Logarithmus an? Was hat der Logarithmus mit dem Informationsgehalt zu tun? Oder ist das ein willkürliches Maß? Stern !? 23:05, 25. Nov 2004 (CET)

Der Logarithmus kommt von der digitalen, also stellenbasierten darstellung der Informatione: 1 bit kann 2 Zustände kodieren, 2 Bit -> 4 Zustände, 3 Bit -> 8 Zustände, etc: Die Anzahl der Zustände ist also die Anzahl der Bits hoch zwei. Umgekehrt heisst das, die Anzahl der benötigten Bits ist der Logarithmus (zur Basis 2) der möglichen Zustände (der Logarithmus ist die Umkehrfunktion von "hoch").

Die Anzahl der Zustände ist nicht die Anzahl der Bits hoch zwei, sondern zwei hoch die Anzahl der Bits! --Idontwantaname 10:20, 16. Mai 2008 (CEST)

Beispiel: wenn ich Nachrichten versenden möchte, die aus einem Vorrat von 8 Buchstaben zusammengesetzt sind, dann benötige ich 3 Bit pro Zeichen (weil log2(8) = 3). Wenn nun alle Zeichen mit der selben Wahrscheinlichkeit vorkommen (also 1/8 = 0.125), dann ist der Informationsgehalt jedes Zeichens gegeben durch -log2(1/8) = log2(8) = 3 (merke: log(1/x) = -log(x) bzw. log(x) = -log(1/x); desshalb die Negation) und die Informationsdichte ist bereits optimal wenn ich alle Zeichen mit 3 Bits kodieren.

Kommen aber zwei der Zeichen viel häufiger vor (z.B. p(A)=p(B)=0.4) und die anderen entspechend weniger oft (p(...)=0.0333...), dann ergibt sich für A und B ein Informationsgehalt von -log2(0.4) = log2(2.5) = 1.3219..., also aufgerundet 2 Bit; für die anderen Zeichen ergibt sich dann -log2(0.0333...) = log2(30) = 4.906, also aufgerundet 5 Bit. Wenn ich eine solche Kodierung wähle, ergibt sich dann insgesammt eine geringere Datenmenge, als wenn ich für alle Zeichen 3 Bit verwenden würde: im Schnitt eben 6*0.033...*5 + 2*0.4*2 = 2.6 Bit pro Zeichen statt 3 (ohne die Rundung wären es sogar nur 2.03 Bit). Je grösser der Zeichenvorrat und die Unterschiede in der Wahrscheinlichkeit, desto grösser der Gewinn durch die Komprimierung.

HTH -- D. Düsentrieb ⇌ 23:49, 25. Nov 2004 (CET)

---

Frage: Was genau wird durch diese Formel beschrieben? Denn die Information, die in einem Satz, Wort, Formel... steckt kann doch nicht durch die Anzahl an Zeichen wiedergegeben werden, sondern es muss auch die Informationsschwere beachtet werden.

---

Achtung! Folgendes bitte als Verbesserungsvorschläge für diesen Artikel aufnehmen und nicht als Beleidigung/harsche Kritik!

- Mir fehlt die Information, wie sich der Informationsgehalt genau zusammensetzt (Summe von Informationen von n Ereignissen) und wie das Alphabet dabei ins Spiel kommt. Das Beispiel ist nicht sehr aufschlussreich und sollte überarbeitet werden.

- Ausserdem sollte der Informationsgehalt nicht nur auf den dualen Logarithmus beschränkt werden, da der Informationsgehalt nicht zwangsläufig nur für Bitworte berechnet werden kann. Hier sollte man log_2 durch log_a ersetzen und erklären, dass a der Anzahl der möglichen Zustände einer Quelle entspricht.

- Weiterhin fehlen klare Differenzierungen von gleichwahrscheinlichen und ungleichwahrscheinlichen Ereignissen (hier gibt es dann unterschiedliche Formeln).

- Die Differenzierung des Informationsgehaltes von statistisch abhängigen (Beispiel: Sprachen) und statistisch unabhängigen (unvorhersehbaren) Ereignissen fehlt mir auch.

Ich werde mich bei der Verbesserung des Artikels (falls erwünscht) demnächst beteiligen, wenn ich meine Medientechnik-Klausur geschrieben habe. Sollte ich dies Vergessen, bitte ich um einen kurzen Hinweis per Mail.

Danke. --M.Link 18:33, 16. Sep 2006 (CEST)

Hallo! Ich habe den Artikel noch mal überarbeitet. Was sagst du jetzt?--Akribix 00:20, 17. Sep 2006 (CEST)

Danke für die Reaktion! Das 2.te Beispiel macht jetzt schon deutlicher, wie der Informationsgehalt berechnet wird. Die anderen Punkte fehlen jedoch noch. Ich werde mich gleich mal am Artikel probieren. Ich werde ihn dabei erst verallgemeinern und anschließend Dein Beispiel anbringen. --M.Link 09:13, 17. Sep 2006 (CEST)

So. Ich hab mal mein (momentanes) Wissen dazugeschrieben. Überarbeitung und Verbesserung natürlich erwünscht. Grüße M.Link 10:35, 17. Sep 2006 (CEST)

Hallo! Also ich denke man muss da noch mal etwas überarbeiten. Zur Verbundswahrscheinlichkeit sollte man eventuell ein neues Lemma eröffnen. (meine jetztigen Bearbeitungen sind noch nicht ganz zuende)--Akribix 03:54, 18. Sep 2006 (CEST)

Ich hoffe du bist nicht böse auf mich, dass ich so stark dein Geschriebenes abgeändert habe. Schreibe mir bitte, wenn du noch Ideen hast, oder anderer Meinung bist. Die Beispiel sind noch nicht ganz komplett...diese müssen auch noch kurz überarbeitet werden.--Akribix 23:23, 18. Sep 2006 (CEST)

Wichtig, aber unklar

Man erfährt zwar, dass der Unterschied zwischen Datenmenge in Bit und Informationsgehalt in Shannon wichtig ist, erklärt wird der Unterschied aber nicht (oder ist die Erklärung nur gut versteckt?). Die beiden Links auf semantisch und Kontext sind da wenig hilfreich. Kann man das noch ergänzen, es würde diesen schönen Artikel noch schöner machen? --MacFreq 00:01, 14. Nov. 2006 (CET)

Überschneidung

Dieser Artikel überschneidet sich in weiten teilen mit Entropie_(Informationstheorie)--Des Messers Schneide 16:10, 18. Jun. 2007 (CEST)

Entropie und Informationsgehalt haben unterschiedliche und klar abgegrenzte Definitionen:

Informationsgehalt: $-\log _{a}(p_{z})$

Entropie: $-\sum _{z\in Z}p_{z}\cdot \log _{2}p_{z}$

Es macht keinen Sinn, beide Artikel zu vereinen nur weil der Informationsgehalt in der Definition der Entropie als Term (mit dem Spezialfall a=2) vorkommt.

Viele Gruesse, -- Schwijker 11:47, 12. Mär. 2009 (CET)

Herleitung von I_ges=n*H(x)

Wie wird die Beziehung I_ges=n*H(x) hergeleitet. Das ist nicht ersichtlich und scheinbar auch nicht trivial!

Sehr richtig, sollte man vielleicht löschen! --194.95.60.65 09:04, 13. Nov. 2007 (CET)

Einheit

Einleitung: "Daher wird der Informationsgehalt mit einer anderen Einheit, dem Shannon (sh), gemessen."

Definition: "Die Einheit für den Informationsgehalt ist Bit; die Einheit Shannon (sh) hat sich nicht durchgesetzt."

Wie jetzt? Kann das ein Experte bitten korrigieren? Danke! --Kondephy (Diskussion) 17:53, 13. Jan. 2014 (CET)

Bitteschön ;-) --Hweisgrab (Diskussion) 14:29, 9. Mär. 2015 (CET)

Vorzeichenfehler

Hallo Ihr Informationsverarbeiter,

auf folgendes Problem muss ich hinweisen:

Zitat aus dem Originalartikel von Shannon. Dort steht auf Seite 10:

"Can we find a measure of how much “choice” is involved in the selection of the event or of how uncertain we are of the outcome? If there is such a measure, say H(p1; p2; … ; pn), it is reasonable to require of it the following properties: …"

Dort wird die sogenannte "Shannon Entropie" richtig entsprechend der physikalischen Entropie gewählt. Eine gegebene Botschaft hat aber eine Selektion erfahren. Nur eine aus der gesamten Zahl der Möglichkeiten liegt vor. Anstatt dass sich die Unordnung (oder das Unwissen über die tatsächliche Wahl) ergeben hätte, hat sich eine starke Ordnung, die Festlegung auf die eine Botschaft, ergeben. Der Wert der Ordnung entspricht einfach Ihrer Wahrscheinlichkeit und ist bei einer Menge natürlicher Zahlen gleich dem Logarithmus von 1/N, wenn jede gleich wahrscheinlich auftreten kann. Dies ist dann auch der Informationsgehalt. Dieser ist negativ, hat also das umgekehrte Vorzeichen zur Entropie, was wir auch erwarten, wenn wir von Ordnung sprechen. Dieser Vorzeichenfehler ist in vielen wissenschaftlichen Arbeiten verbreitet! (Weshalb man zu dieser Kritik eine Menge an "Gegenbelegen" finden kann.)

Wie kann es zu einer solchen Fehlerhäufung kommen? Dies liegt meiner Meinung nach zumindest auch am "gesunden Menschenverstand", der einen negativen Informationsgehalt ablehnt, weil Information als etwas allgemein Positives erachtet wird. Ein weiterer Grund ist, dass die Physik schon immer für den "Vater aller Dinge" missbraucht wurde, weshalb destruktive Energieumwandlungen (hier die Entropie) ein positives Vorzeichen führen. Wenn man aber erkennt, dass diese rein "künstliche" Definitionen sind, kann man auch mit der Negativität des Informationsgehalts leben.

Alternativ könnte man die Definition, die sich scheinbar eingebürgert hat, beibehalten. Dann müsste man aber mit dem Bezug zur Shannon Entropie brechen und einen entsprechenden Hinweis aufnehmen.

Der Wiki-Artikel, derjenige zur Shannon-Entropie und vermutlich einige Bezüge dazu müssen dringend korrigiert werden. Hat jemand dazu Gegenargumente oder Zustimmung?

--Celebleu (Diskussion) 10:07, 23. Jun. 2014 (CEST)

Es fällt mir schwer nachzuvollziehen, was du meinen könntest.

Ganz allgemein ist der Informationsgehalt einer Nachricht eine abstrakte "Menge" an Information, die sie transportiert. Wäre er negativ, würde das bedeuten, dass eine Nachricht der Senke Entropie entzieht. Das ist unmöglich und deckt sich hier auch mit der Thermodynamik.

Man kann einem System einmal zugeführte Information nicht mehr entziehen. Anschaulich gesprochen gäbe es sonst Dinge die du zu mir sagen könntest, woraufhin ich einen Teil meines Wissens verliere.

Bitte konkretisiere den von dir behaupteten Vorzeichenfehler, am besten, indem du eine Quelle aufführst, anhand derer man diesen Sachverhalt klären könnte.--Plankton314 (Diskussion) 10:29, 24. Jun. 2014 (CEST)

Hallo Plankton314,

vielen Dank für Deine Anmerkungen, zu denen ich diese Antworten habe:

• „Informationsgehalt einer Nachricht eine abstrakte "Menge" an Information“:
  • Es ist die Ausnahme, wie bei der Betrachtung von Shannon, dass man unbestimmte Informationseigenschaften analysiert und entsprechende Unsicherheit (siehe oben) besteht.
  • In der Regel ist weder die Information selbst noch ihre Menge abstrakt. Das gilt für den Satz, den ich schreibe und für die Deinen genauso.
• "dass eine Nachricht der Senke Entropie entzieht“
  • Erstens hat schon bei der Erzeugung der Nachricht die Ordnung des Systems zumindest soweit es die Nachricht selbst betrifft, zugenommen und die Entropie abgenommen. Ob dafür woanders die Entropie zugenommen hat ist irrelevant.
  • Zweitens, nimmt die Ordnung beim Empfänger natürlich zu, wenn man sich z. B. den Inhalt merkt. Das gilt auch für jedes künstliche Speichermedium. Magnetische Platten lassen sich z. B. durch Erhitzen auch löschen, wenn dann beim Abkühlen die Magnetisierung zufällige Richtungen annimmt. Letzteres ist eine Entropie-Erhöhung. Das Speichern von Information vorher muss also das Gegenteil sein.
  • Den Bezug zur Thermodynamik hatte ich in meinem Beitrag auf dieser Seite extra nicht erwähnt. (Bei der Diskussionsseite zur Shannon-Entropie steht es drin.) Es ist aber symptomatisch, dass dieser Einwand sofort kommt, weshalb mein Verdacht stimmt: Man will mit der hier zu findenden Definition zumindest allen Konflikten mit dem zweiten Hauptsatz der Thermodynamik aus dem Wege gehen. Leider hat dieser seine besten Tage schon hinter sich (siehe Diskussion dort). Auf jeden Fall ist Deine Auffassung, dass Entropie niemals abnehmen könnte, völlig falsch auch bei strikter Anwendung der Formulierung von Clausius (siehe Thermodynamik). Bei jedem thermodynamischen Kreisprozess findet bei einem Zweig genau das statt.
• "Man kann einem System einmal zugeführte Information nicht mehr entziehen“
  • Das hast Du sicher nicht so allgemein gemeint, wie geschrieben. Hast Du noch nie etwas vergessen?
• "Anschaulich gesprochen gäbe es sonst Dinge die du zu mir sagen könntest, woraufhin ich einen Teil meines Wissens verliere.“
  • Ich glaube Du verstehst mich nicht, weil Du den „negativen“ Informationsgehalt mit Löschen von Information verwechselst.
  • Tatsächlich ist es aber doch eine hilfreiche Bemerkung, weil genau solch ein Akt zu erwarten wäre, wenn durch eine Botschaft bei Dir die Entropie im Kopf erhöht werden würde. Vergleiche dazu obiges Beispiel mit der Magnetplatte. Damit illustrierst Du genau, was ich an der bestehenden Artikel-Seite und dem Bezug zur Shannon-Entropie kritisiere. Wenn Du zustimmst, dass nicht ich den Fehler mache, sondern dass er im Artikel ist, sind wir uns einig.
• Beleg Anforderung:
  • Natürlich hast Du Recht, ein Beleg wäre hilfreich. Mal sehen was sich machen lässt. Bei meiner anfänglichen Recherche war ich erschreckt, wie viele Arbeiten eben gerade das enthalten, was auch der Artikel enthält, obwohl es nach einfachster Logik falsch sein muss.

--Celebleu (Diskussion) 22:54, 24. Jun. 2014 (CEST)

Hier der gewünschte Beleg: Self-organization and entropy reduction in a living cell.

Endlich macht es mal jemand richtig! Dabei zitiert der Autor allerdings Shannon falsch, indem annimmt dieser hätte „negative Entropie“ für die Information definiert.

--Celebleu (Diskussion) 23:51, 24. Jun. 2014 (CEST)

Hallo Celebleu,

Da das parallele Diskutieren mit mehreren Punkten schnell im Chaos endet, beginnen wir doch mal beim Grundsätzlichen:

Dieser Artikel behandelt den Informationsgehalt im Kontext der Informationstheorie/theoretischen Elektrotechnik. Darum sind Vergleiche mit dem Merken oder Vergessen von etwas nur vage Analogien. Die thermodynamische Entropie ist ein besserer Vergleich, aber selbst wenn sich drüben bei den Physikern irgendwann mal herausstellen sollte, dass der zweite Hauptsatz nicht gilt, wüsste ich spontan nicht, ob das hier überhaupt Auswirkungen hätte.

Es gibt sowohl in der Physik als auch der Informationstheorie immer wieder Missverständnisse, wo ein (geschlossenes) System aufhört und wie dann bestimmte Aussagen zu interpretieren sind. (Siehe auch semantischer Kontext und der Abschnitt "Allgemeines".)

Im Gegensatz zu den Physikern, haben wir hier allerdings nicht das "Problem", dass wir uns nach der realen Welt richten müssten. Hier ist der Informationsgehalt per Definition festgelegt als

$I(p_{x})=\log _{a}\left({\frac {1}{p_{x}}}\right){\text{ mit }}p_{x}\in [0\dots 1],a\in \mathbb {N} ^{+}$

Und damit ist der Informationsgehalt eines jeden Zeichens, das von einer informationstheoretischen Quelle an eine Senke gesendet wird, nichtnegativ. Was zu der Aussage führt, dass gemäß der Informationstheorie keine Nachricht existiert, die die Entropie des Empfängers verringert.

In deinem Beleg sehe ich (habe ihn jetzt nur kurz überflogen), dass dort zwar einleitend die Parallele zum Shannon'schen Informationsgehalt gezogen wird, aber nichts weiter.--Plankton314 (Diskussion) 00:56, 25. Jun. 2014 (CEST)

Hallo Plankton314,

ja es scheint der Fall zu sein, dass hier irgendwo Chaos schon existiert (was eine Entropie-Zunahme wäre, die Du so favorisierst). Mein Anliegen ist jedoch die Ordnung im Wikipedia, weil sonst alle Leser verwirrt werden. Deshalb kann ich Deine Ausführungen nur teilweise nachvollziehen. Ich versuche es mal mit einer if/else-Baumstruktur, die dem Informatiker am besten liegen müsste:

• if - Physik ist relevant - then
  • if - Shannon-Entropie ist passend zur physikalischen Entropie gewählt - then
    • if - Shannon-Entropie beschreibt die Unordnung oder Unbestimmtheit einer potentiellen Information (siehe Shannon’s Originalarbeit) - then
      • if - Informationsgehalt ist eine Eigenschaft einer vorher bestimmten und bekannten Information - then
        • Shannon-Entropie ≠ Informationsgehalt (außer im trivialen Sonderfall Null)
        • | Shannon-Entropie | = | Informationsgehalt | (Messung mit denselben Algorithmus: Zähle die Stellen)
        • Shannon-Entropie = - Informationsgehalt
      • else (Informationsgehalt ist keine Eigenschaft einer vorher bestimmten und bekannten Information)
        • Der Begriff ist sinnlos geworden und die Wiki-Seite kann komplett gelöscht werden.
      • endif
    • else (Shannon-Entropie beschreibt nicht die Unordnung oder Unbestimmtheit einer potentiellen Information)
      • Bitte eine zur Originalarbeit widerspruchsfreie Umdeutung mit Beleg angeben!
    • endif
  • else (Shannon-Entropie ist nicht passend zur physikalischen Entropie gewählt)
    • Bitte eine andere Deutung mit Beleg angeben.
    • Bitte die Entropie als Begriff in allen Argumentationen fallen lassen.
    • Bitte auf der Wiki-Pedia Seite zur Shannon-Entropie den Titel ändern und alle Vorkommnisse von „Entropie“ streichen.
    • Außer bei einem neuen Absatz in dem auf den Unsinn, den Shannon verbreitet hat, hingewiesen wird.
  • endif
• else (Physik ist nicht relevant)
  • „Entropie“ ist also nicht relevant.
  • Bitte die Entropie als Begriff in allen Argumentationen fallen lassen.
  • Bitte auf der Wiki-Pedia Seite zur Shannon-Entropie den Titel ändern und alle Vorkommnisse von „Entropie“ streichen.
  • Außer bei einem neuen Absatz in dem auf den Unsinn, den Shannon verbreitet hat, hingewiesen wird.
• endif

Wie schon in meinem anfänglichen Diskussionsbeitrag erwähnt: Man kann dem Informationsgehalt sein positives Vorzeichen lassen, aber nur um den Preis des Bruchs mit der „Shannon-Entropie“. Wenn Du weiter nicht zustimmen kannst, bitte ich um eine genaue Darstellung Deines Argumentationsalgorithmus. Meiner findet sich ja oben. Vielen Dank!

--Celebleu (Diskussion) 15:01, 26. Jun. 2014 (CEST)

Tut mir leid, lieber Celebleu, es wird mir leider immer noch nicht klar worauf du hinauswillst - oder was für eine konkrete Änderung du am Artikel bewirken möchtest.

Der informationstheoretische Begriff der Entropie existiert parallel zu dem physikalischen und ist auch eng mit diesem verwandt. Er unterscheidet sich nur durch einen konstanten Faktor und ist per Definition auch exakt festgelegt.

Entropie und Informationsgehalt sind hier wie in der Fachliteratur definiert. Im Artikel zur Shannon-Entropie findest du eine Literaturliste mit Standardwerken, in denen du den Sachverhalt ausführlich nachlesen kannst, wie zB. den Cover mit Elements of Information Theory.--Plankton314 (Diskussion) 15:57, 26. Jun. 2014 (CEST)

Hallo Planktion314,

die Frage war gut! Worauf will ich hinaus? Schließlich gefällt mir die bestehende Definition des Informationsgehalt durchaus. Dabei habe ich nochmals aber intensiver die Wikipedia Seiten gegen meine Bedenken geprüft und erkannt, dass ich einen gedanklichen Fehler gemacht habe, den Du aber auch begangen hast. Es ist relativ leicht Entropie und Entropie-Differenz zu verwechseln. Selbst Dein Standardwerk, das Du als letztes angegeben hattest, in dem "Entropy always increases.“ steht, macht den Fehler. Denn der zweite Hauptsatz mathematisch als dS>0 formuliert sagt, dass die Entropiedifferenz größer wird. Folgendes findet sich auf der Shannon-Entropie-Seite: „In der Informationstheorie spricht man bei Information ebenso von einem Maß für beseitigte Unsicherheit.“ Damit werden meine Bedenken geheilt, weil man nun auch den Akt in Form einer Entropie-Differenz darstellen kann:

Zustand 1 sei der Zustand vor der Definition der genauen Information. Zustand 2 sei der Zustand nach dem Erhalt der Information. Somit ergibt sich:

$\qquad H_{1}=-\sum _{i=1}^{m}p_{i}\log _{2}p_{i}$

$\qquad H_{2}=-p_{j}\log _{2}p_{j}$

Die Entropiedifferenz durch die Festlegung der Information ist dann:

$\qquad H_{2}-H_{1}=-p_{j}\log _{2}p_{j}+\sum _{i=1}^{m}p_{i}\log _{2}p_{i}$ ≈ $\sum _{i=1}^{m}p_{i}\log _{2}p_{i}$

Letzteres ist eine Näherung für eine große Zustandsmenge m und eine sehr kleine Wahrscheinlichkeit für die gefundene Information. Somit ergibt sich das, was ich haben wollte. Die Entropiedifferenz ist negativ! Außerdem bin ich über das Ausmaß der Entropiereduktion fast erschreckt. Gefühlsmäßig hätte ich eine Größe entsprechend des Betrags der Entropie der Information selbst erwartet, was aber auch Ausdruck des Denkfehlers ist.

Ergebnis des Disputs: Die Wiki-Seiten sind OK, auch Shannon’s Arbeit ist OK. Ich glaube, manche Autoren begehen denselben Fehler, wie ich. Nun weiß ich viel besser, worauf ich beim Studium solcher Quellen achten muss!

Vielen Dank!

--Celebleu (Diskussion) 09:35, 28. Jun. 2014 (CEST)

Hallo Celebleu,

Ich sehe da leider immer noch nicht, wo es eine negative Entropiedifferenz geben sollte, aber wenn du herausgefunden hast, was du wissen wolltest, ist das Ziel ja erreicht. Alles Gute!--Plankton314 (Diskussion) 11:19, 28. Jun. 2014 (CEST)

Hallo Plankton314,

nur zur sicheren Darstellung für andere Leser: Die Wahrscheinlichkeiten von Zuständen, die zur Entropie addieren, sind allesamt kleiner 1. Die Summe aller Wahrscheinlichkeiten ist höchstens 1 und abhängig davon, was man berechnet, vielleicht kleiner. Somit sind alle Logarithmen, die man von einer Wahrscheinlichkeit nimmt, kleiner Null also negativ. Da die Wahrscheinlichkeiten selbst immer positiv sind, sind die Summen, die in der Differenzformel vorkommen, ebenfalls negativ! Der einzige positive Term ist der mit dem explizit negativen Vorzeichen, was natürlich wieder am Logarithmus liegt. Die Differenz könnte nur positiv sein, wenn dieser Term gegenüber der Summe total dominant wäre, was sowohl eine starke Asymmetrie zu den anderen Möglichkeiten als auch eine super geringe Information bedeuten würde. Beides ist für „normalen“ Informationsübertrag nicht zu erwarten. Nochmals vielen Dank und ebenfalls alles Gute!

--Celebleu (Diskussion) 10:46, 1. Jul. 2014 (CEST)

Wir wissen mit Sicherheit, dass $H_{2}>H_{1}$. Wo erkennst du da eine "negative Differenz"?--Plankton314 (Diskussion) 18:50, 1. Jul. 2014 (CEST)

Informationsgehalt eines Zeichens

Moin, der Informationsgehalt eines Zeichens x mit einer Auftrittswahrscheinlichkeit p_x ist definiert als I(x)
… oder etwa nicht? --SKopp (Diskussion) 14:24, 16. Aug. 2015 (CEST)

Der Informationsgehalt I eines Zeichens x, welches eine Auftrittswahrscheinlichkeit p hat, ist definiert als der negative Logarithmus von p(x). Die Einheit des Informationsgehalts wird in 1 bit angegeben. Eine informationstheoretische Größe und nicht zu verwechseln mit dem Bit. Der Artikel enthält grundlegend falsche Aussagen. -- 14:39, 06. Feb. 2016 (ohne Benutzername signierter Beitrag von 146.52.26.126 (Diskussion))