數學統計學中,大數定律(英語:Law of large numbers)又稱大數定律大數律,是描述相當多次數重複實驗的結果的定律。根據這個定律知道,樣本數量越多,則其算術平均值就有越高的機率接近期望值

以特定擲單個骰子的過程來展示大數定律。隨着投擲次數的增加,所有結果的均值趨於3.5(骰子點數的期望值)。不同時候做的這個實驗會在投擲次數較小的時候(左部)會表現出不同的形狀,當次數變得很大(右部)的時候,它們將會非常相似。

大數定律很重要,因為它「說明」了一些隨機事件的均值的長期穩定性。人們發現,在重複試驗中,隨着試驗次數的增加,事件發生的頻率趨於一個穩定值;人們同時也發現,在對物理量的測量實踐中,測定值的算術平均也具有穩定性。比如,我們向上拋一枚硬幣,硬幣落下後哪一面朝上是偶然的,但當我們上拋硬幣的次數足夠多後,達到上萬次甚至幾十萬幾百萬次以後,我們就會發現,硬幣每一面向上的次數約占總次數的二分之一,亦即偶然之中包含着必然。

上述現象是切比雪夫不等式的一個特殊應用情況,辛欽定理伯努利大數定律也都概括了這一現象,它們統稱為大數定律。

舉例

例如,拋擲一顆均勻的6面的骰子,1,2,3,4,5,6應等概率出現,所以每次扔出骰子後,出現點數的期望值是

根據大數定理,如果多次拋擲骰子,隨着拋擲次數的增加,平均值(樣本平均值)應該接近3.5,根據大數定理,在多次伯努利實驗中,實驗頻率最後收斂於理論推斷的概率值,對於伯努利隨機變量,理論推斷的成功概率就是期望值,而若對n個相互獨立的隨機變量的平均值,頻率越多則相對越精準。

例如硬幣投擲即伯努利實驗,當投擲一枚均勻的硬幣,理論上得出的正面向上的概率應是1/2。因此,根據大數定理,正面朝上的比例在相對「大」的數字下,「理應」接近為1/2,尤其是正面朝上的頻率在n次實驗(n接近無限大時)後應幾近收斂到1/2。

即使正面朝上(或背面朝上)的比例接近1/2,幾乎很自然的正面與負面朝上的絕對差值(absolute difference差值範圍)應該相應隨着拋擲次數的增加而增加。換句話說,絕對差值的概率應該是會隨着拋擲次數而接近於0。直觀的來看,絕對差值的期望會增加,只是慢於拋擲次數增加的速度。

表現形式

大數定律主要有兩種表現形式:弱大數定律強大數定律。定律的兩種形式都肯定無疑地表明,樣本均值

收斂於真值

其中 , , ... 是獨立同分布、期望值 且皆勒貝格可積的隨機變量構成的無窮序列。的勒貝格可積性意味着期望值 存在且有限。

方差有限的假設是非必要的。很大或者無窮大的方差會使其收斂得緩慢一些,但大數定律仍然成立。通常採用這個假設來使證明更加簡潔。

強和弱之間的差別在所斷言的收斂的方式。對於這些方式的解釋,參見隨機變量的收斂

弱大數定律

弱大數定律(WLLN) 也稱為辛欽定理,陳述為:樣本均值依概率收斂於期望值。[1]

也就是說對於任意正數 ε,

強大數定律

強大數定律(SLLN)指出,樣本均值以概率1收斂於期望值。

切比雪夫定理的特殊情況

為相互獨立的隨機變量,其數學期望為:方差為:

則序列依概率收斂(即收斂於此數列的數學期望)。

換言之,在定理條件下,當無限變大時,個隨機變量的算術平均將變成一個常數。

伯努利大數定律

設在次獨立重複伯努利試驗中,事件發生的次數為,事件在每次試驗中發生的母體機率為代表樣本發生事件的頻率。

則對任意正數,伯努利大數定律表明:

換言之,事件發生的頻率依機率收斂於事件的母體機率。該定理以嚴格的數學形式表達了頻率的穩定性,也就是說當很大時,事件發生的頻率與母體機率有較大偏差的可能性很小。

參見

參考文獻

外部連結

Wikiwand in your browser!

Seamless Wikipedia browsing. On steroids.

Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.

Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.