Benutzer:SB79/Baustelle/Brier-Score

Dieser Artikel ist im Entstehen und noch nicht Bestandteil der freien Enzyklopädie Wikipedia.

Solltest du über eine Suchmaschine darauf gestoßen sein, bedenke, dass der Text noch unvollständig sein und Fehler oder ungeprüfte Aussagen enthalten kann. Wenn du Fragen zum Thema hast, nimm Kontakt mit dem Autor SB79 auf.

Die Brier-Score ist eine proper score function, also eine saubere Bewertungs-Regel, die die Genauigkeit einer wahrscheinlichkeitsbasierten Vorhersage charakterisiert und von Glenn W. Brier im Jahr 1950 vorgeschlagen wurde . Sie wird zur Bewertung von Vorhersagen angewendet, bei denen das Eintreffen von sich wechselseitg ausschließender Ereignisse durch eine Angabe von Wahrscheinlichkeiten vorhergesagt wird. Dabei müssen sich die den Ereignissen zugeordneten und vorhergesagten Eintrittswahrscheinlichkeiten zu 1 summieren.

Definition der Brier-Score

Die am häufigsten anzutreffende Definition der Brier-Score $BS$ lautet

$BS={\frac {1}{N}}\sum \limits _{t=1}^{N}(f_{t}-o_{t})^{2}\,\!$

wobei $f_{t}\in [0,1]$ die Wahrscheinlichkeit bezeichnet, die bei der Vorhersage für den Eintritt des Ereignisses $o_{t}\in \{0,1\}$ angegeben wurde, und $N$ die Anzahl der Vorhersagen bezeichnet. Tritt das Ereignis $o_{t}$ tatsächlich ein, so ist $o_{t}=1$; tritt es nicht ein, so ist $o_{t}=0$. Je kleiner der Wert der Brier-Score ist, desto besser ist die Genauigkeit der Vorhersagen. Die Brier-Score kann nach obiger Definition Werte zwischen 0 und 1 annehmen. Diese Definition der Brier-Score wird meistens für binäre Ereignisse (beispielsweise: "Regen", "kein Regen") benutzt, für die sie eine saubere Bewertungs-Regel darstellt. Für die Evaluation von multi-kategorialen Vorhersagen sollte die originale Definition von Brier verwendet werden (siehe weiter unten).

Definition der Brier-Score für multi-kategoriale Vorhersagen

Sollen Vorhersagen mit der Brier-Score bewertet werden, bei denen jedes Ereignis in eine von $R$ Kategorien fallen kann, so wird die Brier-Score in der originalen Definition verwendet,

$BS={\frac {1}{N}}\sum \limits _{t=1}^{N}\sum \limits _{i=1}^{R}(f_{ti}-o_{ti})^{2}\,\!$

wobei $N$ die Anzahl der Vorhersagen, $f_{ti}\in [0,1]$ die in der $t$-ten Vorhersage angegebene Eintrittswahrscheinlichkeit für das Ereignis der Kategorie $i$ und $o_{ti}\in \{0,1\}$ den tatsächlichen Eintritt (1) oder Nicht-Eintritt (0) desselben Ereignisses bezeichnet. Mit dieser Definition ist die Brier-Score auch eine saubere Bewertungs-Rege für multi-kategoriale Vorhersagen. Für binäre Ereignisse $(R=2)$ wird über diese Definition ein Wert erhalten, der doppelt so groß ist wie der Wert für die obige einfache Definition. Die Brier-Score für multi-kategoriale Vorhersagen kann Werte zwischen 0 und 2 annehmen, wobei kleinere Werte einer besseren Genauigkeit der Vorhersagen entsprechen.