Tschebyscheffsche Ungleichung

Die tschebyscheffsche Ungleichung, auch Tschebyscheff-Ungleichung oder Bienaymé-Tschebyscheff-Ungleichung genannt, ist eine Ungleichung in der Stochastik, einem Teilgebiet der Mathematik. Sie ist nach Irénée-Jules Bienaymé und Pafnuti Lwowitsch Tschebyschow benannt; dessen Name findet sich in der Literatur in verschiedenen Schreibungen, unter anderem Tschebyschew, Chebyshev, Čebyšev oder Tschebyscheff. In der tschebyscheffschen Ungleichung wird die Wahrscheinlichkeit, dass eine Zufallsvariable mehr als einen vorgegebenen Schwellenwert von ihrem Erwartungswert abweicht, durch ihre Varianz abgeschätzt.

Aussage

Sei $X$ eine Zufallsvariable mit Erwartungswert

$\mu :=\operatorname {E} (X)$

und endlicher Varianz

$\sigma ^{2}:=\operatorname {Var} (X)$.

Dann gilt für alle reellen Zahlen $k>0$:

$\operatorname {P} \left(\left|X-\mu \right|\geq k\right)\leq {\frac {\sigma ^{2}}{k^{2}}}$.

Durch Übergang zum komplementären Ereignis erhält man

$\operatorname {P} \left(\left|X-\mu \right|<k\right)\geq 1-{\frac {\sigma ^{2}}{k^{2}}}$.

Güte der Abschätzung

Die von der tschebyscheffschen Ungleichung angegebenen Grenzen sind scharf in dem Sinne, dass Zufallsvariablen existieren, für die bei der Abschätzung Gleichheit gilt.

Dies ist beispielsweise der Fall für eine diskrete Zufallsvariable $X$ mit

$\operatorname {P} \left(X=0\right)=1-p$

und

$\operatorname {P} \left(X=-a\right)=\operatorname {P} \left(X=a\right)=p/2$,

wobei $a$ eine echt positive reelle Zahl ist und $p\in (0,1)$. Dann ist $\mu =\operatorname {E} (X)=0$ und $\sigma ^{2}=\operatorname {Var} (X)=a^{2}p$, damit folgt die Abschätzung

$P(|X-0|\geq k)\leq {\frac {a^{2}p}{k^{2}}}$,

die für $k=a$ mit Gleichheit erfüllt ist, da dann $P(|X|\geq k)=P(|X|\geq a)=p$ gilt.

Im Allgemeinen sind die Abschätzungen aber eher schwach. Beispielsweise sind sie für $k\leq \sigma$ trivial. Dennoch ist der Satz oft nützlich, weil er ohne Verteilungsannahmen über die Zufallsvariablen auskommt und somit für alle Verteilungen mit endlicher Varianz (insbesondere auch solche, die sich stark von der Normalverteilung unterscheiden) anwendbar ist. Außerdem sind die Schranken einfach zu berechnen.

Varianten

Abweichungen ausgedrückt durch die Standardabweichung

Ist die Standardabweichung $\sigma$ von Null verschieden und $\lambda$ eine positive Zahl, so erhält man mit $k=\lambda \sigma$ eine oft zitierte Variante der tschebyscheffschen Ungleichung:

$\operatorname {P} \left(\left|X-\mu \right|\geq \lambda \sigma \right)\leq {\frac {1}{\lambda ^{2}}}$.

Diese Ungleichung liefert nur für $\lambda >1$ eine sinnvolle Abschätzung, für $0<\lambda \leq 1$ ist sie trivial, denn Wahrscheinlichkeiten sind stets durch 1 beschränkt.

Verallgemeinerung auf höhere Momente

Die tschebyscheffsche Ungleichung lässt sich auf höhere Momente verallgemeinern. Man bezeichnet diese verallgemeinerte Ungleichung nicht selten (vereinfachend) ebenfalls als tschebyscheffsche Ungleichung (englisch Chebyshev’s inequality), während sie im Rahmen der Wahrscheinlichkeitstheorie manchmal auch als markoffsche Ungleichung (bzw. als markovsche Ungleichung o. ä., englisch Markov’s inequality) genannt wird. Bei einigen Autoren findet man die verallgemeinerte Ungleichung auch unter der Bezeichnung tschebyscheff-markoffsche Ungleichung (bzw. chebyshev-markovsche Ungleichung o. ä.).

Die verallgemeinerte Ungleichung besagt, dass für einen Maßraum $(\Omega ,\Sigma ,\nu )$ und eine messbare Funktion $f\colon \Omega \to \mathbb {R} _{0}^{+}$ und $\varepsilon ,p\in \mathbb {R} ^{+}$ stets die Ungleichung

$\nu (\{x\mid f(x)\geq \varepsilon \})\leq {\frac {1}{\varepsilon ^{p}}}\int _{\Omega }f^{p}{\rm {d}}\nu$.

gilt.

Dies folgt aus

$\int _{\Omega }f^{p}\;{\rm {d}}\nu \geq \int _{\{x\mid f(x)\geq \varepsilon \}}f^{p}\;{\rm {d}}\nu \geq \int _{\{x\mid f(x)\geq \varepsilon \}}\varepsilon ^{p}\;{\rm {d}}\nu =\varepsilon ^{p}\nu (\{x\mid f(x)\geq \varepsilon \})$

Die oben genannte Version der Ungleichung erhält man als Spezialfall, indem man $\nu =P$, $f=|X-\mu |$ und $p=2$ setzt, denn dann ist

$P(|X-\mu |\geq k)=P(|X-\mu |^{2}\geq k^{2})\leq {\frac {1}{k^{2}}}\int _{\Omega }|X-\mu |^{2}\;{\rm {d}}P={\frac {\sigma ^{2}}{k^{2}}}$.

Mehrdimensionale Tschebyscheffsche Ungleichung

→ Hauptartikel: Mehrdimensionale Tschebyscheffsche Ungleichung

Die Tschebyscheffsche Ungleichung kann auf mehrdimensionale Zufallsvariable erweitert werden.

Ist X = ($x^{1},...,x^{n}$) eine n-dimensionale Zufallsvariable, die auf den "Mittelpunkt" (μ(x¹) / ... / μ(xⁿ) ) zentriert wurde, so gilt für die zentrierte Variable die Mehrdimensionale Tschebyscheffsche Ungleichung:

$1-P((x^{1},...x^{n})C^{-1}{\begin{pmatrix}x^{1}\\...\\x^{n}\end{pmatrix}}\leq k^{2})\leq {\tfrac {n}{k^{2}}}$

Exponentielle Tschebyscheff-Ungleichung

Dass die Verallgemeinerung gleichzeitig für alle positiven Momente gilt, lässt sich beim Beweis der sogenannten exponentiellen Tschebyscheff-Ungleichung ausnutzen. Sei $X\sim P$ eine reelle Zufallsvariable, die gemäß $P$ verteilt ist und $a\in \mathbb {R}$ eine reelle Zahl. In der Notation von oben setzt man nun $\nu =P$, $\varepsilon =\mathrm {e} ^{a}$ und $f(x)=\mathrm {e} ^{x}$ und erhält

$P(X\geq a)=P(\mathrm {e} ^{X}\geq \varepsilon )\leq \inf _{p\in \mathbb {R} ^{+}}{\frac {1}{\varepsilon ^{p}}}\int _{\mathbb {R} }\mathrm {e} ^{px}\,\mathrm {d} P=\inf _{p\in \mathbb {R} ^{+}}{\frac {E(\mathrm {e} ^{pX})}{\mathrm {e} ^{pa}}}.$

Der Zähler $M_{X}(p)=E(\mathrm {e} ^{pX})$ ist die momenterzeugende Funktion von $X$. Die Anwendung der exponentiellen Tschebyscheff-Ungleichung auf eine Summe von unabhängigen und identisch verteilten Zufallsvariablen ist der entscheidende Schritt im Beweis der Chernoff-Ungleichung.

Geschichte

In den meisten Lehrbüchern trägt die Ungleichung lediglich den Namen von Pafnuti Lwowitsch Tschebyschow. Er veröffentlichte seinen Beweis für diskrete Zufallsvariablen im Jahre 1867 simultan in St. Petersburg und in Paris, dort in Joseph Liouvilles Journal Journal de Mathématiques Pures et Appliquées. Ein allgemeinerer Beweis wurde jedoch schon 1853 von Irénée-Jules Bienaymé in dem Aufsatz Considérations a l’appui de la découverte de Laplace sur la loi de probabilité dans la méthode des moindres carrés veröffentlicht. Dieses wurde sogar direkt vor Tschebyscheffs Veröffentlichung in Liouvilles Journal nochmals in ebendiesem abgedruckt. In einer späteren Veröffentlichung erkannte Tschebyscheff die Erstveröffentlichung von Bienaymé an.

Anwendungen

• Die tschebyscheffsche Ungleichung wird beispielsweise beim Beweis des Schwachen Gesetzes der großen Zahlen verwendet.
• Die Verallgemeinerung auf höhere Momente kann benutzt werden, um zu zeigen, dass aus der $L^{p}\;$-Konvergenz von Funktionenfolgen die Konvergenz im Maß folgt.
• Für den Median $m$ gilt $\left|\mu -m\right|\leq \sigma$.

Beispiele

Beispiel 1

Nehmen wir zum Beispiel an, dass die Länge von Wikipedia-Artikeln einen Erwartungswert von 1000 Zeichen mit einer Standardabweichung von 200 Zeichen hat. Aus der tschebyscheffschen Ungleichung kann man dann ableiten, dass mit mindestens 75 % Wahrscheinlichkeit ein Wikipedia-Artikel eine Länge zwischen 600 und 1400 Zeichen hat ($k=400,~\mu =1000,~\sigma =200$).

Der Wert für die Wahrscheinlichkeit wird auf folgende Weise berechnet:

$\operatorname {P} \left(\left|X-1000\right|<400\right)\geq 1-{\frac {200^{2}}{400^{2}}}=0{,}75=75\ \%$

Beispiel 2

Eine andere Folgerung aus dem Satz ist, dass für jede Wahrscheinlichkeitsverteilung mit Mittelwert $\mu$ und endlicher Standardabweichung $\sigma$ mindestens die Hälfte der Werte im Intervall $(\mu -{\sqrt {2}}\sigma ,\mu +{\sqrt {2}}\sigma )$ liegen ($k^{2}=2\sigma ^{2}$).

Beispiel 3

Ein Zufallsereignis tritt bei einem Versuch mit Wahrscheinlichkeit $p$ ein. Der Versuch wird $n$-mal wiederholt; das Ereignis trete dabei $k$-mal auf. $k$ ist dann binomialverteilt und hat Erwartungswert $np$ und Varianz $np(1-p)$; die relative Häufigkeit ${\tfrac {k}{n}}$ des Eintretens hat somit Erwartungswert $p$ und Varianz ${\tfrac {p(1-p)}{n}}$. Für die Abweichung der relativen Häufigkeit vom Erwartungswert liefert die tschebyscheffsche Ungleichung

$\operatorname {P} \left(\left|{\frac {k}{n}}-p\right|\geq \epsilon \right)\leq {\frac {p(1-p)}{\epsilon ^{2}n}}\leq {\frac {1}{4\epsilon ^{2}n}}$,

wobei für die zweite Abschätzung die unmittelbar aus der Ungleichung vom arithmetischen und geometrischen Mittel folgende Beziehung ${\sqrt {p(1-p)}}\leq {\tfrac {1}{2}}$ verwendet wurde.

Bei dieser Formel handelt es sich um den Spezialfall eines schwachen Gesetzes der großen Zahlen, das die stochastische Konvergenz der relativen Häufigkeiten gegen den Erwartungswert zeigt.

Die tschebyscheffsche Ungleichung liefert für dieses Beispiel nur eine grobe Abschätzung, eine quantitative Verbesserung liefert die Chernoff-Ungleichung.

Beweisskizze

Die meisten Autoren führen die tschebyscheffsche Ungleichung als Spezialfall der Markow-Ungleichung

$P\left(Y\geq k\right)\leq {\frac {\operatorname {E} \left(h(Y)\right)}{h(k)}}$

mit $Y=|X-\mu |$ und der Funktion $h(x)=x^{2}$ ein. Wie man die Markow-Ungleichung mit schulgemäßen Mitteln aus einem unmittelbar einsichtigen Flächenvergleich folgern und dann daraus diese Fassung der Ungleichung von Tschebyscheff herleiten kann, findet man zum Beispiel bei Wirths.

Für einen direkten Beweis definiert man

$A_{k}=\{\omega \in \Omega \mid |X-\mu |\geq k\}.$

Bezeichnet $\mathbf {1} _{A}$ die Indikatorfunktion auf der Menge $A$, so gilt für alle $\omega$ die Ungleichung

$|X(\omega )-\mu |^{2}\geq k^{2}\mathbf {1} _{A_{k}}(\omega ).$

Denn ist $\omega \notin A_{k}$, so ist die rechte Seite null und die Ungleichung erfüllt. Ist $\omega \in A_{k}$, so hat die linke Seite nach Definition der Mengen $A_{k}$ mindestens den Wert $k^{2}$, und die Ungleichung ist wiederum erfüllt. Mit der Monotonie des Erwartungswertes und seinen elementaren Rechenregeln folgt über die Definition der Varianz

$\sigma ^{2}=\operatorname {Var} (X)=\operatorname {E} (|X-\mu |^{2})\geq \operatorname {E} (k^{2}\mathbf {1} _{A_{k}})=k^{2}P(A_{k})=k^{2}P(|X-\mu |\geq k).$

Teilen durch $k^{2}$ liefert die Tschebyscheff-Ungleichung.

Diese ergibt sich aber auch ohne Erwartungswert-Regeln aus einem einfachen Flächenvergleich, ausgehend von der allgemeingültigen Darstellung (3) auf der Seite Erwartungswert.

Verwandte Resultate

• Burkholder-Ungleichung
• Doobsche Maximalungleichung
• Ungleichung von Cantelli
• Chernoff-Ungleichung
• Ungleichung von Hájek und Rényi
• Jensensche Ungleichung
• Kolmogorow-Ungleichung
• Ungleichung von Ljapunow
• Markow-Ungleichung (Stochastik)
• Ungleichung von Ottaviani-Skorokhod
• Mehrdimensionale Tschebyscheffsche Ungleichung
• Hoeffding-Ungleichung

Literatur

• Robert B. Ash: Real Analysis and Probability. Academic Press, New York 1972, ISBN 0-12-065201-3.
• Heinz Bauer: Maß- und Integrationstheorie (= De Gruyter Lehrbuch). 2., überarbeitete Auflage. de Gruyter, Berlin / New York 1992, ISBN 3-11-013625-2. 
• Heinz Bauer: Wahrscheinlichkeitstheorie (= De Gruyter Lehrbuch). 5., durchgesehene und verbesserte Auflage. de Gruyter, Berlin / New York 2002, ISBN 3-11-017236-4. 
• Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 7. Auflage. Vieweg Verlag, Wiesbaden 2003, ISBN 3-528-67259-5.
• R. G. Laha, V. K. Rohatgi: Probability Theory (= Wiley Series in Probability and Mathematical Statistics). John Wiley & Sons, New York (u. a.) 1979, ISBN 0-471-03262-X. 
• A. N. Širjaev: Wahrscheinlichkeit (= Hochschulbücher für Mathematik. Band 91). VEB Deutscher Verlag der Wissenschaften, Berlin 1988, ISBN 3-326-00195-9. 
• Andreas Wagener: Chebyshev’s Algebraic inequality and comparative statics under uncertainty. In: Mathematical Social Sciences, 52, 2006, S. 217–221, doi:10.1016/j.mathsocsci.2006.05.004.

Weblinks

Wikibooks: Beschreibung mit Beispiel – Lern- und Lehrmaterialien