Diskussion:Bedingte Entropie

Unverständlich

rho: Reichlich unverständlich dieser Beitrag: Es fehlen Beispiele mit Berechnung der Entropie, es fehlen Literaturhinweise und Links. Jemand, der noch nichts über das Thema weiß , ist nach Lektüre des Beitrages auch nicht viel schlauer.

Der Artikel ist komplett unverständlich (nicht allgemeinverständlich) geschrieben. Was ist die "Unsicherheit über den Wert"? Kann man ein kurzes, verständlcihes Beispiel formulieren? --source 10:51, 4. Dez. 2008 (CET)

Nimm an Du würfelst, sieht Dir aber das Ergebnis nicht an. Stattdessen stellst Du nur fest ob das Ergebnis gerade oder ungerade ist. Damit ist die "Unsicherheit" über das Ergebnis jetzt kleiner als zuvor (aber noch nicht Null). Mit anderen Worten, die Entropie des Würfelns $X$ ist $H(X)=\log(6)$, die Entropie des Würfeln einer geraden oder ungeraden Zahl, $Y$, ist $H(Y)=\log(2)$. Daher ist die Entropie des Würfelns $X$ bedingt auf das Eintreten eines geraden oder ungeraden Ergebnisses $Y$ nur noch $H(X|Y)=\log(6)-\log(2)=\log(3)$. Das Beispiel ist natürlich insofern etwas zu einfach, weil $Y$ vollständig durch $X$ bestimmt ist (also $H(Y|X)=0$), aber ich hoffe so ist es zumindest verständlich. Ich habe mir die Beispiele im Artikel nicht angesehen, aber wenn das hier hilft, kannst man gerne in den Artikel einbauen. --Drizzd 22:50, 5. Dez. 2008 (CET)

Die Einleitung ist jetzt in Ordnung. Weitere konkrete Kritik, sowie eine Antwort auf das vorgeschlagene Beispiel fehlt seit 1 1/2 Monaten, deswegen habe ich den für mich nicht nachvollziehbaren Unverständlich-Baustein entfernt. --Klara 16:28, 24. Jan. 2009 (CET)

Negative Wahrscheinlichkeit?

<quote>$X$ soll jedes Element von $M$ mit nicht negativer Wahrscheinlichkeit annehmen. </quote> wie soll die Wahrscheinlichkeit auch negativ werden? Ist es nicht einer der Axiome der Wahrscheinlichkeitsrechnung, dass die Wahrscheinlichkeit nicht negativ ist? (nicht signierter Beitrag von 85.178.68.124 (Diskussion) 12:15, 16. Okt. 2011 (CEST))

Berechtigter Hinweis und sehr erstaunlich, dass dies seit 2011 nicht korrigiert wurde. Der ursprüngliche Autor meinte sicher "mit positiver Wahrscheinlichkeit", dies macht das Rechnen leichter, ist aber eine unnötige Einschränkung. In der Stochastik und Informationstheorie ist die Konvention $0\log 0=\lim _{p\to 0}p\log p=0$ Standard, die fraglichen Terme können also einfach weggelassen werden. Definiert man die Entropie - etwas umständlich - als $H(X)=E[-\log(p(X))]=-\int _{M}\log p(X)\,\mathrm {d} P$ (mit der Wahrscheinlichkeitsfunktion $p$ und dem Wahrscheinlichkeitsmaß $P$), so ergibt sich diese Sichtweise sogar bereits aus der Maßtheorie.

Liebe Grüße -- 2A02:8109:A7BF:E964:215:AFFF:FED0:2F4C 19:52, 21. Dez. 2016 (CET)

$0\log 0=\lim _{p\to 0}p\log p=0$ ist keine Konvention, sondern kann streng bewiesen werden. Die Aussage ist daher irreführend. (nicht signierter Beitrag von 87.163.206.228 (Diskussion) 13:34, 9. Nov. 2020 (CET))