大數法則

在數學與統計學中，大數定律（英語：Law of large numbers）又稱大數定律、大數律，是描述相當多次數重複實驗的結果的定律。根據這個定律知道，樣本數量越多，則其算術平均值就有越高的機率接近期望值。

以特定擲單個骰子的過程來展示大數定律。隨着投擲次數的增加，所有結果的均值趨於3.5（骰子點數的期望值）。不同時候做的這個實驗會在投擲次數較小的時候（左部）會表現出不同的形狀，當次數變得很大（右部）的時候，它們將會非常相似。

大數定律很重要，因為它「說明」了一些隨機事件的均值的長期穩定性。人們發現，在重複試驗中，隨着試驗次數的增加，事件發生的頻率趨於一個穩定值；人們同時也發現，在對物理量的測量實踐中，測定值的算術平均也具有穩定性。比如，我們向上拋一枚硬幣，硬幣落下後哪一面朝上是偶然的，但當我們上拋硬幣的次數足夠多後，達到上萬次甚至幾十萬幾百萬次以後，我們就會發現，硬幣每一面向上的次數約占總次數的二分之一，亦即偶然之中包含着必然。

上述現象是切比雪夫不等式的一個特殊應用情況，辛欽定理和伯努利大數定律也都概括了這一現象，它們統稱為大數定律。

舉例

例如，拋擲一顆均勻的6面的骰子，1，2，3，4，5，6應等概率出現，所以每次扔出骰子後，出現點數的期望值是

${\displaystyle {\frac {1+2+3+4+5+6}{6}}=3.5}$

根據大數定理，如果多次拋擲骰子，隨着拋擲次數的增加，平均值（樣本平均值）應該接近3.5，根據大數定理，在多次伯努利實驗中，實驗頻率最後收斂於理論推斷的概率值，對於伯努利隨機變量，理論推斷的成功概率就是期望值，而若對n個相互獨立的隨機變量的平均值，頻率越多則相對越精準。

例如硬幣投擲即伯努利實驗，當投擲一枚均勻的硬幣，理論上得出的正面向上的概率應是1/2。因此，根據大數定理，正面朝上的比例在相對「大」的數字下，「理應」接近為1/2，尤其是正面朝上的頻率在n次實驗（n接近無限大時）後應幾近收斂到1/2。

即使正面朝上（或背面朝上）的比例接近1/2，幾乎很自然的正面與負面朝上的絕對差值（absolute difference差值範圍）應該相應隨着拋擲次數的增加而增加。換句話說，絕對差值的概率應該是會隨着拋擲次數而接近於0。直觀的來看，絕對差值的期望會增加，只是慢於拋擲次數增加的速度。

表現形式

大數定律主要有兩種表現形式：弱大數定律和強大數定律。定律的兩種形式都肯定無疑地表明，樣本均值

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}$

收斂於真值

${\displaystyle {\overline {X}}_{n}\to \mu \quad {\textrm {as}}\quad n\to \infty }$

其中 ${\displaystyle X_{1}}$, ${\displaystyle X_{2}}$, ... 是獨立同分布、期望值${\displaystyle \operatorname {E} (X_{1})=\operatorname {E} (X_{2})=\,\cdots \,=\mu }$ 且皆勒貝格可積的隨機變量構成的無窮序列。${\displaystyle X_{j}}$的勒貝格可積性意味着期望值 ${\displaystyle \operatorname {E} (X_{j})}$存在且有限。

方差${\displaystyle \operatorname {Var} (X_{1})=\operatorname {Var} (X_{2})=\,\cdots \,=\sigma ^{2}<\infty }$有限的假設是非必要的。很大或者無窮大的方差會使其收斂得緩慢一些，但大數定律仍然成立。通常採用這個假設來使證明更加簡潔。

強和弱之間的差別在所斷言的收斂的方式。對於這些方式的解釋，參見隨機變量的收斂。

弱大數定律

弱大數定律(WLLN) 也稱為辛欽定理，陳述為：樣本均值依概率收斂於期望值。^[1]

${\displaystyle {\overline {X}}_{n}\ {\xrightarrow {P}}\ \mu \quad {\textrm {as}}\quad n\to \infty }$

也就是說對於任意正數 ε,

${\displaystyle \lim _{n\to \infty }P\left(\,|{\overline {X}}_{n}-\mu |>\varepsilon \,\right)=0}$

強大數定律

強大數定律(SLLN)指出，樣本均值以概率1收斂於期望值。

${\displaystyle {\overline {X}}_{n}\ {\xrightarrow {\text{a.s.}}}\ \mu \quad {\textrm {as}}\quad n\to \infty }$

即

${\displaystyle P\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1}$

切比雪夫定理的特殊情況

設 ${\displaystyle a_{1},\ a_{2},\ \dots \ ,\ a_{n},\ \dots }$ 為相互獨立的隨機變量，其數學期望為：${\displaystyle \operatorname {E} (a_{i})=\mu \quad (i=1,\ 2,\ \dots )}$，方差為：${\displaystyle \operatorname {Var} (a_{i})=\sigma ^{2}\quad (i=1,\ 2,\ \dots )}$

則序列${\displaystyle {\overline {a}}={\frac {1}{n}}\sum _{i=1}^{n}a_{i}}$依概率收斂於${\displaystyle \mu }$（即收斂於此數列的數學期望${\displaystyle E(a_{i})}$）。

換言之，在定理條件下，當${\displaystyle n}$無限變大時，${\displaystyle n}$個隨機變量的算術平均將變成一個常數。

伯努利大數定律

設在${\displaystyle n}$次獨立重複伯努利試驗中，事件${\displaystyle X}$發生的次數為${\displaystyle n_{x}}$，事件${\displaystyle X}$在每次試驗中發生的母體機率為${\displaystyle p}$，${\displaystyle {\frac {n_{x}}{n}}}$代表樣本發生事件${\displaystyle X}$的頻率。

則對任意正數${\displaystyle \varepsilon >0}$，伯努利大數定律表明：

${\displaystyle \lim _{n\to \infty }{P{\left\{\left|{\frac {n_{x}}{n}}-p\right|<\varepsilon \right\}}}=1}$

換言之，事件發生的頻率依機率收斂於事件的母體機率。該定理以嚴格的數學形式表達了頻率的穩定性，也就是說當${\displaystyle n}$很大時，事件發生的頻率與母體機率有較大偏差的可能性很小。

參見

• 概率論
• 中央極限定理

參考文獻

1. Rick Durrett. Probability: Theory and Examples. Cambridge University Press. 2010: 61 [2013-11-18]. ISBN 978-0-521-76539-8 （英語）.

外部連結

• 二項分布與大數法則理論與實際相連（頁面存檔備份，存於網際網路檔案館）