Diskussion:Kreuzentropie

Berechnung ohne p

"Die Kreuzentropie lässt jedoch unter bestimmten Umständen ohne p berechnen."

Abgesehen davon, daß ein "sich" in diesem Satz fehlt: Leider kann man mit diesem Satz nicht viel anfangen. Da wäre eine genauere Erklärung notwendig bzw. hilfreich. Insbesondere wenn man vom Artikel "Kullback-Leibler-Divergenz" kommt und genauer zu erfahren sucht, inwieweit sich die Unterschiedlichkeit der WDVs ohne Kenntnis von p berechnen läßt, wird man stutzig, wenn man in der Formel zur Berechnung der Kreuzentropie genau die KL-Divergenz wiederfindet.

Leider entzieht es sich meiner Kenntnis, wie diese Berechnung möglich ist. Aber vielleicht kann das einer der bisherigen Autoren (er)klären?

vielleicht hilft mein link in den belegen? ich habe gerade keine lust, mich da einzuarbeiten, aber mir scheint, dass die id-transformation der hinweis sein könnte. --Tyresias (Diskussion) 10:19, 20. Sep. 2012 (CEST)

Es stimmt, dieser Fakt fehlt leider in dem Artikel. Als ich in einer Data-Mining-Vorlesung das erste Mal von der Kreuzentropie gehört habe, kam auch der kurze Hinweis "geht auch ohne P" aber keinerlei Ausführung. Nach einer groben Recherche im Internet hab ich eher den Eindruck, dass die Kreuzentropie ohne das Wissen um P "nur" geschickt geschätzt werden kann. Brauche da aber noch Einarbeitungszeit und vor allem belastbare Quellen. Jeglicher Input ist hier hoch willkommen!

-- 82.119.29.173 15:05, 23. Jan. 2013 (CET)

PS.: Die ungefähre Idee ist wohl eine empirische Größe zu definieren und zu zeigen, dass diese mit wachsendem Stichprobenumfang gegen die Kreuzentropie konvergiert. @Tyresias Leider überspringt die die angegebene Quelle genau den Beweisschritt, sogar explizit. Also weitersuchen.^^

-- 82.119.29.173 15:21, 23. Jan. 2013 (CET)

Hallo zusammen! Wenn ich mich nicht täusche, dann lässt sich die Kreuzentropie doch schreiben als $E(-\log q(X))$, wobei $q$ die Wahrscheinlichkeitsfunktion der Verteilung $Q$ ist und den Erwartungswert kann man dann wie üblich als arithmetisches Mittel aus Stichprobenwerten schätzen. Kommt das hin? -- HilberTraum (Diskussion) 20:16, 23. Jan. 2013 (CET)

Ja, genau das ist es. Typischer Fall von "Jetzt wo du's sagst!" Hatte die Schätzformel auf der englischen Wikipedia gesehen und sie sah irgendwie "richtig" aus, aber ich hab den geistigen Schritt zum Erwartungswert nicht gemacht. In wie weit müssen eigentlich solche mathematischen Zusammenhänge in der Wikipedia mit Quellen belegt werden? Reicht ein "Das sieht man doch?" oder muss mensch wirklich ein Paper finden, dass sich mit dieser Schätzung beschäftigt?

-- 82.119.29.173 22:25, 23. Jan. 2013 (CET)

Ein Paper, dass diese Schätzung verwendet, wäre zwar noch schön, aber insgesamt ist der Artikel ja belegt, also passt das schon fürs erste. Danke für die Überarbeitung! -- HilberTraum (Diskussion) 09:19, 24. Jan. 2013 (CET)

Ich sehe nicht, dass der Artikel belegt ist. Es gibt eine Literaturangabe (Rubinstein/Kroese) und dort (S. 13) ist die Kreuzentropie anders definiert, nämlich als Kullback-Leibler-Divergenz. --Sigma^2 (Diskussion) 00:52, 26. Aug. 2023 (CEST)

Definition

Wie ist die Entropie $H(X)$ für eine reelle Zufallsvariable $X$ definiert? Kann man dass kurz hinschreiben? Die Verlinkung von Entropie führt nicht weiter. Dort steht etwas über einen diskreten Fall einer Verteilung mit endlichem Träger. Falls das Konzept nur für spezielle Zufallsvariablen definiert ist, sollte diese Voraussetzung in der Definition stehen.--Sigma^2 (Diskussion) 15:11, 17. Okt. 2022 (CEST)