Bernoulli-Verteilung

Zufallsvariablen mit einer Bernoulli-Verteilung (auch als Bernoullische Verteilung^[1], Null-Eins-Verteilung^[1], Alternativ-Verteilung^[2] oder Boole-Verteilung^[3] bezeichnet) benutzt man zur Beschreibung von zufälligen Ereignissen, bei denen es nur zwei mögliche Versuchsausgänge gibt. Einer der Versuchsausgänge wird meistens mit Erfolg bezeichnet und der komplementäre Versuchsausgang mit Misserfolg. Die zugehörige Wahrscheinlichkeit ${\displaystyle p}$ für einen Erfolg nennt man Erfolgswahrscheinlichkeit und ${\displaystyle q=1-p}$ die Wahrscheinlichkeit eines Misserfolgs. Beispiele:

• Werfen einer Münze: Kopf (Erfolg), ${\displaystyle p=1/2}$, und Zahl (Misserfolg), ${\displaystyle q=1/2}$.
• Werfen eines Würfels, wobei nur eine „6“ als Erfolg gewertet wird: ${\displaystyle p=1/6}$, ${\displaystyle q=5/6}$.
• Betrachte sehr kleines Raum/Zeit-Intervall: Ereignis tritt ein ${\displaystyle (p\gtrapprox 0)}$, tritt nicht ein ${\displaystyle (q\lessapprox 1)}$.

Wahrscheinlichkeitsfunktion der Bernoulli-Verteilung für ${\displaystyle p=0{,}2}$ (blau), ${\displaystyle p=0{,}5}$ (grün) und ${\displaystyle p=0{,}8}$ (rot)

Die Bezeichnung Bernoulli-Versuch (Bernoullian trials nach Jakob I Bernoulli) wurde erstmals 1937 in dem Buch Introduction to Mathematical Probability von James Victor Uspensky verwendet.^[4]

Definition

Eine diskrete Zufallsgröße ${\displaystyle X}$ mit Werten in der Menge ${\displaystyle \{0,1\}}$ unterliegt der Bernoulli-Verteilung oder Null-Eins-Verteilung mit dem Parameter ${\displaystyle p\in (0,1)}$, wenn sie der folgenden Wahrscheinlichkeitsfunktion folgt

${\displaystyle f(x)=P(X=x)={\begin{cases}1-p&{\text{falls}}\quad x=0,\\p&{\text{falls}}\quad x=1,\\0&{\text{sonst.}}\end{cases}}}$

Die Verteilungsfunktion ist dann

${\displaystyle F(x)=P(X\leq x)={\begin{cases}0&{\text{ falls }}\quad x<0\\1-p&{\text{ falls }}\quad 0\leq x<1\\1&{\text{ falls }}\quad x\geq 1\end{cases}}}$.

Man schreibt dann ${\displaystyle X\sim {\mathcal {B}}(p)}$, ${\displaystyle X\sim \mathrm {Ber} (p)}$ oder ${\displaystyle X\sim Ber_{p}}$. Der Parameter ${\displaystyle p}$ heißt in diesem Zusammenhang auch Bernoulli-Parameter.

Eine Zufallsvariable, deren Verteilung eine Bernoulli-Verteilung ist, heißt Bernoulli-verteilt. Eine Bernoulli-verteilte Zufallsvariable wird auch als Bernoulli-Variable bezeichnet.

Ein Zufallsexperiment, dessen Ausgang durch eine Bernoulli-Variable beschrieben ist, heißt Bernoulli-Experiment oder Bernoulli-Versuch. Eine Folge von Bernoulli-Versuchen, deren Zufallsvariablen stochastisch unabhängig und identisch – d. h. mit demselben Bernoulli-Parameter – verteilt sind, heißt Bernoulli-Prozess oder bernoullisches Versuchsschema.

Für bestimmte statistische Anwendungen ist es sinnvoll, den erweiterten Parameterraum ${\displaystyle [0,1]}$ ergänzt durch die beiden Grenzfälle ${\displaystyle p=0}$ und ${\displaystyle p=1}$ zugrunde zu legen, bei denen die Bernoulli-Verteilung zu einer Einpunktverteilung auf 0 oder 1 degeneriert. In diesen Fällen gilt ${\displaystyle P(X=0)=1}$ bzw. ${\displaystyle P(X=1)=1}$.

Eigenschaften

Im Folgenden ist ${\displaystyle X\sim \mathrm {Ber} (p)}$ mit ${\displaystyle 0<p<1}$ vorausgesetzt.

Erwartungswert

Die Bernoulli-Verteilung mit Parameter ${\displaystyle p}$ hat den Erwartungswert:

${\displaystyle \operatorname {E} \left(X\right)=p}$

Dies hat den Grund, dass für eine Bernoulli-verteilte Zufallsvariable ${\displaystyle X}$ mit ${\displaystyle P(X=1)=p}$ und ${\displaystyle P(X=0)=q}$ gilt:

${\displaystyle \operatorname {E} (X)=P(X=1)\cdot 1+P(X=0)\cdot 0=p\cdot 1+q\cdot 0=p}$

Varianz und weitere Streumaße

Die Bernoulli-Verteilung besitzt die Varianz

${\displaystyle \operatorname {Var} (X)=p\cdot (1-p)=pq}$

denn es ist ${\displaystyle \operatorname {E} (X^{2})=p\cdot 1^{2}+q\cdot 0^{2}=p}$ und damit

${\displaystyle \operatorname {E} \left(X^{2}\right)-\operatorname {E} (X)^{2}=p-p^{2}=p\cdot (1-p)=pq}$.

Damit ist die Standardabweichung

${\displaystyle \sigma _{X}={\sqrt {pq}}}$

und der Variationskoeffizient

${\displaystyle \operatorname {VarK} (X)={\sqrt {\frac {q}{p}}}}$.

Symmetrie

Für den Parameter ${\displaystyle p={\tfrac {1}{2}}}$ ist die Bernoulli-Verteilung symmetrisch um den Punkt ${\displaystyle a={\tfrac {1}{2}}}$.

Schiefe

Die Schiefe der Bernoulli-Verteilung ist

${\displaystyle \operatorname {v} (X)={\frac {1-2p}{\sqrt {pq}}}}$.

Dies kann folgendermaßen gezeigt werden. Eine standardisierte Zufallsvariable ${\displaystyle {\frac {X-\operatorname {E} (X)}{\sqrt {\operatorname {Var} (X)}}}}$ mit ${\displaystyle X}$ Bernoulli-verteilt nimmt den Wert ${\displaystyle {\frac {q}{\sqrt {pq}}}}$ mit Wahrscheinlichkeit ${\displaystyle p}$ an und den Wert ${\displaystyle -{\frac {p}{\sqrt {pq}}}}$ mit Wahrscheinlichkeit ${\displaystyle q}$. Damit erhalten wir für die Schiefe

${\displaystyle {\begin{aligned}\operatorname {v} (X)&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} (X)}{\sqrt {\operatorname {Var} (X)}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q-p)\\&={\frac {q-p}{\sqrt {pq}}}\end{aligned}}}$

Wölbung und Exzess

Der Exzess der Bernoulli-Verteilung ist

${\displaystyle \gamma (X)={\frac {1-6pq}{pq}}}$

und damit ist die Wölbung

${\displaystyle \beta _{2}(X)={\frac {1-3pq}{pq}}}$.

Momente

Alle k-ten Momente ${\displaystyle m_{k}}$ sind gleich und es gilt

${\displaystyle m_{k}=p}$.

Es ist nämlich

${\displaystyle m_{k}=\operatorname {E} \left(X^{k}\right)=p\cdot 1^{k}+q\cdot 0^{k}=p}$.

Entropie

Die Entropie der Bernoulli-Verteilung ist

${\displaystyle \mathrm {H} =-q\log _{2}(q)-p\log _{2}(p)}$

gemessen in Bit.

Modus

Der Modus der Bernoulli-Verteilung ist

${\displaystyle x_{D}={\begin{cases}0&{\text{falls }}\quad q>p\\0;1&{\text{falls }}\quad q=p\\1&{\text{falls }}\quad q<p\end{cases}}}$.

Median

Der Median der Bernoulli-Verteilung ist

${\displaystyle {\tilde {m}}_{X}={\begin{cases}0&{\text{falls }}\quad q>p,\\1&{\text{falls }}\quad q<p,\end{cases}}}$

falls ${\displaystyle p=q}$ gilt, ist jedes ${\displaystyle {\tilde {m}}_{X}\in [0,1]}$ ein Median.

Kumulanten

Die kumulantenerzeugende Funktion ist

${\displaystyle g_{X}(t)=\ln(pe^{t}+q)}$.

Damit sind die ersten Kumulanten ${\displaystyle \kappa _{1}=p,\kappa _{2}=pq}$ und es gilt die Rekursionsgleichung

${\displaystyle \kappa _{n+1}=p(1-p){\frac {d\kappa _{n}}{dp}}.}$

Wahrscheinlichkeitserzeugende Funktion

Die wahrscheinlichkeitserzeugende Funktion ist

${\displaystyle m_{X}(t)=1-p+pt}$.

Charakteristische Funktion

Die charakteristische Funktion ist

${\displaystyle \varphi _{X}(t)=1-p+pe^{\mathrm {i} t}}$.

Momenterzeugende Funktion

Die momenterzeugende Funktion ist

${\displaystyle M_{X}(t)=1-p+pe^{t}}$.

Beziehung zu anderen Verteilungen

Beziehung zur Binomialverteilung

Die Bernoulli-Verteilung ist ein Spezialfall der Binomialverteilung für ${\displaystyle n=1}$. Mit anderen Worten, die Summe von unabhängigen Bernoulli-verteilten Zufallsgrößen mit identischem Parameter ${\displaystyle p}$ genügt der Binomialverteilung, demnach ist die Bernoulli-Verteilung nicht reproduktiv. Die Binomialverteilung ist die ${\displaystyle n}$-fache Faltung der Bernoulli-Verteilung bei gleichem Parameter ${\displaystyle p}$ bzw. mit gleicher Wahrscheinlichkeit ${\displaystyle p}$.

Beziehung zur verallgemeinerten Binomialverteilung

Die Summe von ${\displaystyle n}$ voneinander unabhängigen Bernoulli-verteilten Zufallsvariablen, die alle einen unterschiedlichen Parameter ${\displaystyle p_{i}}$ besitzen, ist verallgemeinert binomialverteilt.

Beziehung zur Poisson-Verteilung

Die Summe von Bernoulli-verteilten Zufallsgrößen genügt für ${\displaystyle n\to \infty }$, ${\displaystyle p_{n}\to 0}$ und ${\displaystyle \lim \limits _{n\to \infty }np_{n}=\lambda >0}$ einer Poisson-Verteilung mit dem Parameter ${\displaystyle \lambda }$. Dies folgt direkt daraus, dass die Summe binomialverteilt ist und für die Binomialverteilung die Poisson-Approximation gilt.

Beziehung zur Zweipunktverteilung

Die Bernoulli-Verteilung ist ein Spezialfall der Zweipunktverteilung mit ${\displaystyle a=0,b=1}$. Umgekehrt ist die Zweipunktverteilung eine Verallgemeinerung der Bernoulli-Verteilung auf beliebige zweielementige Punktmengen.

Beziehung zur Rademacher-Verteilung

Sowohl die Bernoulli-Verteilung mit ${\displaystyle p=q=0{,}5}$ als auch die Rademacher-Verteilung modellieren einen fairen Münzwurf (oder eine faire, zufällige Ja/Nein-Entscheidung). Der Unterschied besteht lediglich darin, dass Kopf (Erfolg) und Zahl (Misserfolg) unterschiedlich codiert werden.

Beziehung zur geometrischen Verteilung

Bei Hintereinanderausführung von Bernoulli-verteilten Experimenten ist die Wartezeit auf den ersten Erfolg (oder letzten Misserfolg, je nach Definition) geometrisch verteilt.

Beziehung zur diskreten Gleichverteilung

Die Bernoulli-Verteilung mit ${\displaystyle p=q={\frac {1}{2}}}$ ist eine diskrete Gleichverteilung auf ${\displaystyle \{0,1\}}$.

Urnenmodell

Die Bernoulli-Verteilung lässt sich auch aus dem Urnenmodell erzeugen, wenn ${\displaystyle p={\frac {k}{n}}}$ mit ${\displaystyle k,n\in \mathbb {N} }$ ist. Dann entspricht dies dem einmaligen Ziehen aus einer Urne mit ${\displaystyle n}$ Kugeln, von denen genau ${\displaystyle k}$ rot sind und alle anderen eine andere Farbe besitzen. Die Wahrscheinlichkeit, eine rote Kugel zu ziehen, ist dann ${\displaystyle p}$.

Simulation

Bei der Simulation macht man sich zunutze, dass, wenn ${\displaystyle {\mathcal {U}}}$ eine stetig gleichverteilte Zufallsvariable auf ${\displaystyle [0,1]}$ ist, die Zufallsvariable ${\displaystyle Y=\mathbf {1} _{\{{\mathcal {U}}\geq 1-p\}}}$ Bernoulli-verteilt ist mit Parameter ${\displaystyle p}$. Da fast jeder Computer Standardzufallszahlen erzeugen kann, ist die Simulation wie folgend:

1. Erzeuge eine Standardzufallszahl ${\displaystyle u_{i}}$
2. Ist ${\displaystyle u_{i}\leq 1-p}$, gib 0 aus, ansonsten gib 1 aus.

Dies entspricht genau der Inversionsmethode. Die einfache Simulierbarkeit von Bernoulli-verteilten Zufallsvariablen kann auch zur Simulation von binomialverteilten oder verallgemeinert Binomialverteilten Zufallsvariablen genutzt werden.

Literatur

• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage, de Gruyter, 2009, ISBN 978-3-11-021526-7.

Einzelnachweise

1. P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, S. 527.
2. Norbert Kusolitsch: Maß- und Wahrscheinlichkeitstheorie. Eine Einführung. 2., überarbeitete und erweiterte Auflage. Springer-Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-45386-1, S. 63, doi:10.1007/978-3-642-45387-8.
3. Klaus D. Schmidt: Maß und Wahrscheinlichkeit. 2., durchgesehene Auflage. Springer-Verlag, Heidelberg Dordrecht London New York 2011, ISBN 978-3-642-21025-9, S. 254, doi:10.1007/978-3-642-21026-6.
4. James Victor Uspensky: Introduction to Mathematical Probability, McGraw-Hill, New York 1937, Seite 45

Diskrete univariate Verteilungen

Diskrete univariate Verteilungen für endliche Mengen:
Benford | Bernoulli | beta-binomial | binomial | Dirac | diskret uniform | empirisch | hypergeometrisch | kategorial | negativ hypergeometrisch | Rademacher | verallgemeinert binomial | Zipf | Zipf-Mandelbrot | Zweipunkt

Diskrete univariate Verteilungen für unendliche Mengen:
Boltzmann | Conway-Maxwell-Poisson | discrete-Phase-Type | erweitert negativ binomial | Gauss-Kuzmin | gemischt Poisson | geometrisch | logarithmisch | negativ binomial | parabolisch-fraktal | Poisson | Skellam | verallgemeinert Poisson | Yule-Simon | Zeta

Kontinuierliche univariate Verteilungen

Kontinuierliche univariate Verteilungen mit kompaktem Intervall:
Beta | Cantor | Kumaraswamy | raised Cosine | Dreieck | Trapez | U-quadratisch | stetig uniform | Wigner-Halbkreis

Kontinuierliche univariate Verteilungen mit halboffenem Intervall:
Beta prime | Bose-Einstein | Burr | Chi | Chi-Quadrat | Coxian | Erlang | Exponential | Extremwert | F | Fermi-Dirac | Folded normal | Fréchet | Gamma | Gamma-Gamma | verallgemeinert invers Gauß | halblogistisch | halbnormal | Hartman-Watson | Hotellings T-Quadrat | hyper-exponentiale | hypoexponential | invers Chi-Quadrat | scale-invers Chi-Quadrat | Invers Normal | Invers Gamma | Kolmogorow-Verteilung | Lévy | log-normal | log-logistisch | Maxwell-Boltzmann | Maxwell-Speed | Nakagami | nichtzentriert Chi-Quadrat | Pareto | Phase-Type | Rayleigh | relativistisch Breit-Wigner | Rice | Rosin-Rammler | shifted Gompertz | truncated normal | Type-2-Gumbel | Weibull | Wilks’ Lambda

Kontinuierliche univariate Verteilungen mit unbeschränktem Intervall:
Cauchy | Extremwert | exponential Power | Fishers z | Fisher-Tippett (Gumbel) | generalized hyperbolic | Hyperbolic-secant | Landau | Laplace | alpha-stabil | logistisch | normal (Gauß) | normal-invers Gauß’sch | Skew-normal | Studentsche t | Type-1-Gumbel | Variance-Gamma | Voigt

Multivariate Verteilungen

Diskrete multivariate Verteilungen:
Dirichlet compound multinomial | Ewens | gemischt Multinomial | multinomial | multivariat hypergeometrisch | multivariat Poisson | negativmultinomial | Pólya/Eggenberger | polyhypergeometrisch

Kontinuierliche multivariate Verteilungen:
Dirichlet | GEM | generalized Dirichlet | multivariat normal | multivariat Student | normalskaliert invers Gamma | Normal-Gamma | Poisson-Dirichlet

Multivariate Matrixverteilungen:
Gleichverteilung auf der Stiefel-Mannigfaltigkeit | Invers Wishart | Matrix Beta | Matrix Gamma | Matrix invers Beta | Matrix invers Gamma | Matrix Normal | Matrix Student-t | Matrix-Von-Mises-Fisher-Verteilung | Normal-invers-Wishart | Normal-Wishart | Wishart