Normalverteilungsmodell

Als Normalverteilungsmodell^[1] oder Gauß’sches Produktmodell^[2] bezeichnet man in der Statistik ein spezielles statistisches Modell, das sich durch einfache Modellannahmen auszeichnet. Dabei soll einerseits die Erhebung der Daten stochastisch unabhängig voneinander sein, andererseits sollen die Daten alle normalverteilt sein, je nach Präzisierung mit einem oder zwei unbekannten Parametern.

Die Bedeutung des Normalverteilungsmodells ergibt sich sowohl aus der Tatsache, dass es ein sehr gut untersuchtes Modell ist, für das gute Parameterschätzer, Konfidenzintervalle und Tests angegeben werden können, als auch aus der Sonderstellung der Normalverteilung, die sich nach dem zentralen Grenzwertsatz immer dann einstellt, wenn sich viele, voneinander unabhängige zufällige Einflüsse überlagern.

Es lassen sich drei Fälle unterscheiden:

• Man geht von einem bekannten Erwartungswert der Normalverteilungen aus und versucht, Aussagen über die Varianz zu treffen. Beispiel hierfür wäre die Eichung einer Waage mit einem vorgegebenen genormten Gewicht.
• Man geht von einer bekannten Varianz der Normalverteilungen aus und versucht, Aussagen über den Erwartungswert zu treffen. Dieser Fall würde beispielsweise eintreten bei einer Messung mit einem Messinstrument bekannter Ungenauigkeit, die vom Hersteller angegeben ist.
• Sowohl Varianz als auch Erwartungswert sind unbekannt. Ein Beispiel für diesen Fall wäre die Schätzung der Schuhgröße von Männern: Weder ist klar, welche Schuhgröße ein Mann „im Mittel“ hat, noch ist klar, wie sehr die Schuhgrößen streuen.

Für die drei Fälle stehen jeweils unterschiedliche Methoden zur Verfügung.

Erwartungswert bekannt und Varianz unbekannt

Bei bekanntem Erwartungswert und unbekannter Varianz werden die Rahmenbedingungen wie folgt formalisiert: Das statistische Modell ist gegeben durch

${\displaystyle (\mathbb {R} ^{n},{\mathcal {B}}(\mathbb {R} ^{n}),{\mathcal {P}})}$,

wobei die Verteilungsklasse genauer als

${\displaystyle {\mathcal {P}}=\{{\mathcal {N}}^{\otimes n}(\mu _{0},\sigma ^{2})\;|\;\sigma ^{2}\in (0,\infty )\}}$

definiert ist. Hierbei ist ${\displaystyle \mu _{0}}$ der bekannte Erwartungswert. Mit ${\displaystyle P^{\otimes n}}$ sei das n-fache Produktmaß des Wahrscheinlichkeitsmaßes ${\displaystyle P}$ bezeichnet. Es handelt sich bei dem Modell folglich um ein einparametriges Modell und ein Produktmodell. Die Verteilungsklasse ist Teil der einparametrigen Exponentialfamilie, denn die Wahrscheinlichkeitsdichte ${\displaystyle \phi (x)}$ der Normalverteilung besitzt eine Darstellung als

${\displaystyle \phi (x)=\exp(a(\sigma )\cdot b(x)+c(\sigma ))}$ mit ${\displaystyle a(\sigma )=-{\frac {1}{2\sigma ^{2}}},\;b(x)=(x-\mu _{0})^{2}\;}$ und ${\displaystyle c(\sigma )=-{\tfrac {1}{2}}\ln(2\pi \sigma )}$.

Damit erhält man für die Wahrscheinlichkeitsdichte auf dem gesamten Raum die Darstellung

${\displaystyle f(x)=\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu _{0})^{2}-{\tfrac {n}{2}}\ln(2\pi \sigma ^{2})\right)}$.

Geschätzt werden soll die unbekannte Varianz, die zu schätzende Parameterfunktion ist somit gegeben durch

${\displaystyle g(\sigma ^{2})=\sigma ^{2}}$.

Parameterschätzung

Sowohl die Maximum-Likelihood-Methode als auch die Momentenmethode liefern als Schätzer für die unbekannte Varianz die (nicht korrigierte)Stichprobenvarianz

${\displaystyle V(X)={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu _{0})^{2}}$.

Sie ist erwartungstreu. Die Suffizienz dieser Schätzfunktion folgt aus der Darstellung der Normalverteilung als Teil der Exponentialfamilie und der entsprechenden kanonischen Statistik. Außerdem ist der Schätzer auch vollständig^[3] und somit nach dem Satz von Lehmann-Scheffé ein gleichmäßig bester erwartungstreuer Schätzer.

Konfidenzintervalle

Konfidenzintervalle für die unbekannte Varianz beruhen auf der Pivot-Statistik

${\displaystyle T(X,\sigma ^{2})=\sum _{i=1}^{n}\left({\frac {X_{i}-\mu _{0}}{\sigma }}\right)^{2}={\frac {n}{\sigma ^{2}}}\cdot V(X)}$.

Sie ist Chi-Quadrat-verteilt mit ${\displaystyle n}$ Freiheitsgraden, also ${\displaystyle T(X,\sigma ^{2})\sim \chi _{n}^{2}}$. Ein beidseitiges Konfidenzintervall zum Konfidenzniveau ${\displaystyle 1-\alpha }$ ist somit gegeben durch^[4]

${\displaystyle C(X)=\left[{\frac {n}{\chi _{n;1-\alpha /2}^{2}}}V(X);{\frac {n}{\chi _{n;\alpha /2}^{2}}}V(X)\right]}$.

Hierbei ist ${\displaystyle \chi _{n,\alpha }^{2}}$ das ${\displaystyle \alpha }$-Quantil der Chi-Quadrat-Verteilung mit ${\displaystyle n}$ Freiheitsgraden. Die konkreten Werte der Quantile können in der Quantiltabelle der Chi-Quadrat-Verteilung nachgeschlagen werden.

Testen

Für Einstichprobenprobleme existiert der Chi-Quadrat-Test zur Prüfung einer Varianz, für Zweistichprobenprobleme der F-Test zum Vergleich zweier Varianzen.^[5]

Varianz bekannt und Erwartungswert unbekannt

Ist die Varianz bekannt und der Erwartungswert unbekannt, so werden die Rahmenbedingungen wie folgt formalisiert: das statistische Modell gegeben durch

${\displaystyle (\mathbb {R} ^{n},{\mathcal {B}}(\mathbb {R} ^{n}),{\mathcal {P}})}$,

wobei die Verteilungsklasse genauer als

${\displaystyle {\mathcal {P}}=\{{\mathcal {N}}^{\otimes n}(\mu ,{\sigma _{0}}^{2})\;|\;\mu \in \mathbb {R} \}}$

definiert ist. Hierbei bezeichnet ${\displaystyle \sigma _{0}}$ die bekannte Varianz. Es handelt sich bei dem Modell folglich um ein einparametriges Modell und ein Produktmodell. Genauso ist die Verteilungsklasse ein Teil der einparametrigen Exponentialfamilie, denn die Wahrscheinlichkeitsdichte ${\displaystyle \phi (x)}$ der Normalverteilung besitzt eine Darstellung als

${\displaystyle \phi (x)=\exp(a(\mu )\cdot b(x)+c(\mu )+d(x))}$ mit ${\displaystyle a(\mu )={\frac {\mu }{\sigma _{0}^{2}}},\;b(x)=x,\;c(\mu )=-{\tfrac {\mu ^{2}}{2\sigma _{0}^{2}}}}$ und ${\displaystyle d(x)=-\left({\tfrac {x^{2}}{2\sigma _{0}^{2}}}+{\tfrac {1}{2}}\ln(2\pi \sigma _{0}^{2})\right)}$.

Damit erhält man für die Wahrscheinlichkeitsdichte auf dem gesamten Raum die Darstellung

${\displaystyle f(x)=\exp \left({\frac {\mu }{\sigma _{0}^{2}}}\sum _{i=1}^{n}x_{i}+n\cdot c(\mu )-\left({\tfrac {n}{2}}\ln(2\pi \sigma _{0}^{2})+\sum _{i=i}^{n}{\tfrac {x_{i}^{2}}{2\sigma _{0}^{2}}}\right)\right)}$

Geschätzt werden soll der unbekannten Erwartungswert, die zu schätzende Parameterfunktion ist somit gegeben durch

${\displaystyle g(\mu )=\mu }$.

Parameterschätzung

Sowohl die Maximum-Likelihood-Methode als auch die Momentenmethode liefern als Schätzfunktion für den Erwartungswert das Stichprobenmittel

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

der Stichprobe. Dabei folgt der Maximum-Likelihood-Schätzer beispielsweise durch Bestimmen des Maximums der Log-Likelihood-Funktion, der Momentenschätzer folgt direkt aus der Tatsache, dass es sich bei dem arithmetischen Mittel um das erste empirische Moment handelt und mit dem Erwartungswert das erste stochastische Moment geschätzt werden soll.

Der Schätzer ist erwartungstreu. Da es sich um außerdem um die kanonische Statistik der Exponentialfamilie handelt, ist er auch suffizient. Außerdem ist der Schätzer auch vollständig^[3] und somit nach dem Satz von Lehmann-Scheffé ein gleichmäßig bester erwartungstreuer Schätzer.

Konfidenzintervalle

Die Konfidenzintervalle bei bekannter Varianz ${\displaystyle \sigma _{0}^{2}}$ beruhen auf der Pivotstatistik^[6]

${\displaystyle T(X,\mu )={\frac {{\sqrt {n}}({\overline {X}}-\mu )}{\sigma _{0}}}}$.

Sie ist standardnormalverteilt, also ${\displaystyle T(X,\mu )\sim {\mathcal {N}}(0,1)}$ für alle ${\displaystyle \mu }$.

Es bezeichne ${\displaystyle u_{\alpha }}$ das ${\displaystyle \alpha }$-Quantil der Standardnormalverteilung. Dieses kann der Quantiltabelle der Standardnormalverteilung entnommen werden. Dann ist ein rechtsseitig unbeschränktes Konfidenzintervall für den unbekannten Erwartungswert zum Konfidenzniveau ${\displaystyle 1-\alpha }$ gegeben durch

${\displaystyle C_{1}(X)=\left[{\overline {X}}-{\tfrac {\sigma _{0}}{\sqrt {n}}}u_{1-\alpha };\infty \right)}$.

Analog ergibt sich ein linksseitig unbeschränktes Konfidenzintervall für den unbekannten Erwartungswert zum Konfidenzniveau ${\displaystyle 1-\alpha }$ durch

${\displaystyle C_{2}(X)=\left(-\infty$ ;{\overline {X}}+{\tfrac {\sigma _{0}}{\sqrt {n}}}u_{1-\alpha }\right]} .

Ein zweiseitiges Konfidenzintervall zum Konfidenzniveau ${\displaystyle 1-\alpha }$ ist gegeben durch

${\displaystyle C_{3}(X)=\left[{\overline {X}}-{\tfrac {\sigma _{0}}{\sqrt {n}}}u_{1-\alpha /2};{\overline {X}}+{\tfrac {\sigma _{0}}{\sqrt {n}}}u_{1-\alpha /2}\right]}$.

Testen

Für Einstichprobenprobleme existiert der Einstichproben Gauß-Test und der Einstichproben-t-Test, für Zweistichprobenprobleme der Zweistichproben Gauß-Test.^[5]

Varianz und Erwartungswert unbekannt

Sind Erwartungswert und Varianz unbekannt, so werden die Rahmenbedingungen wie folgt formalisiert: das statistische Modell ist gegeben durch

${\displaystyle (\mathbb {R} ^{n},{\mathcal {B}}(\mathbb {R} ^{n}),{\mathcal {P}})}$,

wobei die Verteilungsklasse genauer als

${\displaystyle {\mathcal {P}}=\{{\mathcal {N}}^{\otimes n}(\mu ,\sigma ^{2})\mid \sigma ^{2}\in (0,\infty ),\mu \in \mathbb {R} \}}$

definiert ist. Es handelt sich hierbei dann um ein parametrisches Modell und ein Produktmodell. Die Verteilungsklasse ist Teil der zweiparametrigen Exponentialfamilie, da für die Wahrscheinlichkeitsdichte der Normalverteilung

${\displaystyle \phi (x)=\exp \left(a_{1}(\mu ,\sigma )\cdot b_{1}(x)+a_{2}(\mu ,\sigma )\cdot b_{1}(x)+c(\mu ,\sigma )\right)}$ mit ${\displaystyle a_{1}(\mu ,\sigma )={\tfrac {\mu }{\sigma ^{2}}},a_{2}(\mu ,\sigma )=-{\tfrac {1}{2\sigma ^{2}}},b_{1}(x)=x,b_{2}(x)=x^{2}}$ und ${\displaystyle c(\mu ,\sigma )=-{\tfrac {\mu ^{2}}{2\sigma ^{2}}}-{\tfrac {1}{2}}\ln(2\pi \sigma ^{2})}$

gilt.

Geschätzt werden soll Erwartungswert und Varianz, die zu schätzenden Parameterfunktionen sind somit gegeben durch

${\displaystyle g_{1}(\mu$ ;\sigma ^{2})=\mu } und ${\displaystyle g_{2}(\mu$ ;\sigma ^{2})=\sigma ^{2}} .

Parameterschätzung

Die Maximum-Likelihood-Methode und die Momentenmethode liefern als Schätzfunktion für den unbekannten Erwartungswert das Stichprobenmittel

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$.

Dieser Schätzer ist erwartungstreu.

Sowohl die Maximum-Likelihood-Methode und die Momentenmethode liefern die (nicht korrigierte)Stichprobenvarianz

${\displaystyle V(X)={\tfrac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$

als Schätzfunktion für die unbekannte Varianz. Sie ist nicht erwartungstreu, sondern nur asymptotisch Erwartungstreu. Daher führt man die Bessel-Korrektur ein und erhält somit als erwartungstreuen Schätzer die korrigierte Stichprobenvarianz

${\displaystyle V^{*}(X)={\tfrac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$.

Sie ist eine erwartungstreue Schätzfunktion für die unbekannte Varianz.

Konfidenzintervalle

Konfidenzintervalle für den Erwartungswert, also für ${\displaystyle g(\mu ,\sigma ^{2})=\mu }$, beruhen in diesem Modell auf der Pivotstatistik^[6]

${\displaystyle T(X,\mu )={\sqrt {n}}{\frac {{\overline {X}}-\mu }{S_{n}^{*}(X)}}}$,

wobei

${\displaystyle S_{n}^{*}(X)={\sqrt {{\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}}}$

ist. Als einseitiges Konfidenzintervall für den Erwartungswert zum Konfidenzniveau ${\displaystyle 1-\alpha }$ erhält man damit

${\displaystyle C_{1}(X)=\left[{\overline {X}}-{\frac {S_{n}^{*}(X)}{\sqrt {n}}}t_{n-1;1-\alpha };\infty \right)}$,

als zweiseitiges Konfidenzintervall für den Erwartungswert zum Konfidenzniveau ${\displaystyle 1-\alpha }$ erhält man

${\displaystyle C_{2}(X)=\left[{\overline {X}}-{\frac {S_{n}^{*}}{\sqrt {n}}}t_{n-1;1-\alpha /2};{\overline {X}}-{\frac {S_{n}^{*}}{\sqrt {n}}}t_{n-1;\alpha /2}\right]}$

Hierbei ist ${\displaystyle t_{n,\alpha }}$ das ${\displaystyle \alpha }$-Quantil der Studentschen t-Verteilung mit n Freiheitsgraden. Die konkreten Werte der Quantile können in der Quantiltabelle der Studentschen t-Verteilung nachgeschlagen werden.

Konfidenzintervalle für die Varianz, also für ${\displaystyle g(\mu ,\sigma ^{2})=\sigma ^{2}}$, beruhen auf der Pivotstatistik^[6]

${\displaystyle T(X,\sigma ^{2})=\left({\frac {S_{n}^{*}}{\sigma }}\right)^{2}}$.

Sie liefert das einseitige Konfidenzintervall für die Varianz zum Konfidenzniveau ${\displaystyle 1-\alpha }$

${\displaystyle C_{3}(X)=\left[0;{\frac {1}{\chi _{n-1;\alpha }^{2}}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}\right)}$,

und das zweiseitige Konfidenzintervall für die Varianz zum Konfidenzniveau ${\displaystyle 1-\alpha }$

${\displaystyle C_{4}(X)=\left({\frac {1}{\chi _{n-1;1-\alpha /2}^{2}}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2};{\frac {1}{\chi _{n-1;\alpha /2}^{2}}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}\right)}$

Hierbei ist ${\displaystyle \chi _{n,\alpha }^{2}}$ das ${\displaystyle \alpha }$ -Quantil der Chi-Quadrat-Verteilung mit ${\displaystyle n}$ Freiheitsgraden. Die konkreten Werte der Quantile können in der Quantiltabelle der Chi-Quadrat-Verteilung nachgeschlagen werden.

Testen

Für Einstichprobenprobleme existiert für die Varianz der Chi-Quadrat-Test zur Prüfung einer Varianz. Für Zweistichprobenprobleme existiert für die Varianz der F-Test zum Vergleich zweier Varianzen, für den Erwartungswert siehe Behrens-Fisher-Problem.^[5]

Einzelnachweise

1. Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, S. 96, doi:10.1007/978-3-642-41997-3.
2. Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, S. 205, doi:10.1515/9783110215274.
3. Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, S. 110–111, doi:10.1007/978-3-642-41997-3.
4. Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, S. 143–144, doi:10.1007/978-3-642-17261-8.
5. Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, S. 196, doi:10.1007/978-3-642-41997-3.
6. Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, S. 231–232, doi:10.1007/978-3-642-41997-3.