Smits Paradoxon

In der klassischen mathematischen Statistik gilt, salopp formuliert: Je größer die Stichprobe, desto besser die Schätzung (genauer siehe Hauptsatz der mathematischen Statistik). In der Statistik zufälliger Prozesse ist es jedoch möglich – und wird dann in der Regel als paradox empfunden –, dass eine Schätzung durch Vergrößerung des Stichprobenumfangs schlechter wird. S. J. Wilenkin war der erste, dem das 1959 auffiel, doch waren in seiner Arbeit Fehler, so dass J. C. Smit 1961 der Namensgeber des Paradoxons wurde.

Das Paradoxon

Sei $X_{t}$ ein schwach stationärer zufälliger Prozess mit unbekanntem konstanten Erwartungswert $\mathrm {E} (X_{t})=m$ und (bekannter) Kovarianzfunktion $r(t-s)$. Der Prozess kann für $t\in T\subset \mathbb {R}$ beobachtet werden. Seien $\quad x_{t_{1}},\cdots ,x_{t_{n}};\quad t_{i}\in T\quad n$ (diskrete) Beobachtungen und $x_{t},t\in T$ die kontinuierliche Beobachtung des Prozesses über das gesamte $T$. Dann sind

${\hat {m}}={\frac {1}{n}}\sum _{i=1}^{n}x_{t_{i}};\quad \quad {\tilde {m}}={\frac {1}{|T|}}\int _{T}x_{t}\,\mathrm {d} t$

erwartungstreue Schätzungen für $m$. Intuitiv scheint klar zu sein, dass ${\tilde {m}}$ besser ist als ${\hat {m}}$, weil es mehr Informationen ausnutzt, nämlich Informationen aus ganz $T$, während ${\hat {m}}$ nur punktuelle Informationen nutzt. Doch schon für einfache Spezialfälle zeigt sich das Gegenteil: ${\hat {m}}$ ist besser als ${\tilde {m}}$, wenn man die Varianz der Schätzer als Kriterium nimmt:

$\operatorname {Var} ({\hat {m}})={\frac {1}{n^{2}}}\sum _{i,j=1}^{n}r(t_{i}-t_{j});\quad \operatorname {Var} ({\tilde {m}})={\frac {1}{|T|^{2}}}\int _{T}\int _{T}r(t-s)\,\mathrm {d} t\,\mathrm {d} s$

Beispiel

Sei $T=[-1,1];\quad r(t-s)=\mathrm {e} ^{-|t-s|};\quad t_{1}=-1,\quad t_{2}=-0{,}5,\quad t_{3}=0,\quad t_{4}=0{,}5,\quad t_{5}=1$, d. h. $n=5$ diskrete Beobachtungsstellen. Dann ergibt sich $\operatorname {Var} ({\hat {m}})=0{,}529$ sowie $\operatorname {Var} ({\tilde {m}})=0{,}568$, d. h. ${\hat {m}}$ ist besser als ${\tilde {m}}$. Wenn man weitere Beobachtungen zwischen den bisherigen Stellen mit einbezieht, d. h. bei $t_{6}=-0{,}75,\quad t_{7}=-0{,}25,\quad t_{8}=0{,}25,\quad t_{9}=0{,}75$, dann verschlechtert sich die Varianz von ${\hat {m}}$ von $0{,}529$ auf $0{,}542$, d. h., eine „Verdichtung“ der Beobachtungen führt zu einem schlechteren Ergebnis.

Auflösung des Paradoxons

Die Schätzung ${\tilde {m}}$ ist für $m$ nicht die beste lineare erwartungstreue Schätzung (englisch Best Linear Unbiased Estimator, kurz BLUE), ${\hat {m}}$ wird also mit einer nicht-optimalen Schätzung verglichen. Die BLUE für $m$ ergibt sich nach einem Satz von Grenander in Form eines Stieltjesintegrales ${\tilde {m}}^{*}=\int _{T}x_{t}\,\mathrm {d} G^{*}(t);\quad \int _{T}\mathrm {d} G^{*}(t)=1$ als Lösung der Integralgleichung $\int _{T}r(t-s)\,\mathrm {d} G^{*}(t)=c$ mit $c=\operatorname {Var} ({\tilde {m}}^{*})$.

Fortsetzung Beispiel

Siehe auch. Mit den gleichen Setzungen wie in obigem Beispiel ergibt sich

${\tilde {m}}^{*}={\frac {1}{4}}\left[x_{-1}+\int _{-1}^{1}x_{t}\,\mathrm {d} t+x_{+1}\right];\quad \operatorname {Var} ({\tilde {m}}^{*})=0{,}500$.

${\tilde {m}}^{*}$ legt im Gegensatz zu ${\tilde {m}}$ Extragewichte auf den Rand des Beobachtungsintervalles ($t=-1,t=+1$). Die diskrete Fünf-Punkte-Schätzung ${\hat {m}}$ approximiert diese Randgewichtung besser als ${\tilde {m}}$ und ist damit auf natürliche Weise der bessere Schätzer.

Praktische Bedeutung

Das für stochastische Prozesse geschilderte Phänomen gilt auch für zufällige Felder. Insbesondere in der Geostatistik ist es wichtig zu wissen, dass eine Netzverdichtung in Geoinformationssystemen keineswegs automatisch zu besseren Schätzergebnissen führt.