中心極限定理

中心極限定理（英語：central limit theorem，簡作 CLT）是概率論中的一組定理。在概率論中，中心極限定理 (CLT) 確定的為，在許多情況下，對於獨立並同樣分佈的隨機變量，即使原始變量本身不是正態分佈，標準化樣本均值的抽樣分佈也趨向於標準正態分佈。這組定理是數理統計學和誤差分析的理論基礎，指出了大量隨機變量之和近似服從正態分佈的條件。

10,000 次拋擲硬幣實驗中出現正面的平均比率，每次抽樣（實驗）的樣本數為 200（拋擲 200 次硬幣）

歷史

Tijms (2004, p.169) 寫到：

“

中心極限定理有着有趣的歷史。這個定理的第一版被法國數學家狄默夫發現，他在1733年發表的卓越論文中使用正態分佈去估計大量拋擲硬幣出現正面次數的分佈。這個超越時代的成果險些被歷史遺忘，所幸著名法國數學家拉普拉斯在1812年發表的巨著 Théorie Analytique des Probabilités中拯救了這個默默無名的理論。 拉普拉斯擴展了狄默夫的理論，指出二項分佈可用正態分佈逼近。但同狄默夫一樣，拉普拉斯的發現在當時並未引起很大反響。直到十九世紀末中心極限定理的重要性才被世人所知。1901年，俄國數學家里雅普諾夫用更普通的隨機變量定義中心極限定理並在數學上進行了精確的證明。如今，中心極限定理被認為是（非正式地）概率論中的首席定理。

”

棣莫佛-拉普拉斯定理

用正態分佈逼近二項分佈

棣莫佛-拉普拉斯定理（De Moivre–Laplace theorem）是中央極限定理的最初版本，討論了服從二項分佈的隨機變量序列。它指出，參數為n, p的二項分佈以np為均值、np(1-p) 為方差的正態分佈為極限。

內容

若 ${\displaystyle X\sim B(n,p)}$ 是 ${\displaystyle n}$ 次伯努利實驗中事件 A 出現的次數，每次試驗成功的概率為 ${\displaystyle p}$，且 ${\displaystyle q=1-p}$，則對任意有限區間 ${\displaystyle [a,b]}$：

令${\displaystyle x_{k}\equiv {\frac {k-np}{\sqrt {npq}}}}$，當${\displaystyle n\to {\infty }}$時

(i) ${\displaystyle P(X=k)\to {\frac {1}{\sqrt {npq}}}\cdot {\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}x_{k}^{2}}}$

(ii) ${\displaystyle P\left(a\leq {\frac {X-np}{\sqrt {npq}}}\leq {b}\right)\to \int _{a}^{b}\varphi (x)dx}$，其中${\displaystyle \varphi (x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}(-\infty <x<\infty ).}$

在高爾頓板問題上的應用

高爾頓繪製的高爾頓板模型，其中的小球顯出鐘形曲線。

狄默夫-拉普拉斯定理指出二項分佈的極限為正態分佈。高爾頓板可以看作是伯努利試驗的實驗模型。如果我們把小球碰到釘子看作一次實驗，而把從右邊落下算是成功，從左邊落下看作失敗，就有了一次${\displaystyle p={\frac {1}{2}}}$的伯努利試驗。小球從頂端到底層共需要經過n排釘子，這就相當於一個n次伯努利試驗。小球的高度曲線也就可以看作二項分佈隨機變量的概率密度函數。因此，中央極限定理解釋了高爾頓板小球累積高度曲線為什麼是正態分佈獨有的鐘形曲線。

林德伯格-萊維定理

中央極限定理的動態展示，獨立同分佈隨機變量之和趨近正態分佈。

林德伯格（英語：Jarl Waldemar Lindeberg）-萊維（Lindeberg-Levy）定理，是棣莫佛-拉普拉斯定理的擴展，討論獨立同分佈隨機變量序列的中央極限定理。它表明，獨立同分佈（i.i.d., 即 independent and identically distributed）、且數學期望值和方差有限的隨機變量序列的標準化和以標準正態分佈為極限：

內容

設隨機變量${\displaystyle X_{1},X_{2},\cdots ,X_{n}}$獨立同分佈， 且具有有限的數學期望值和方差${\displaystyle E(X_{i})=\mu }$，${\displaystyle D(X_{i})=\sigma ^{2}\neq 0(i=1,2,\cdots ,n)}$。記

${\displaystyle {\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$，${\displaystyle \zeta _{n}={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}}$，則 ${\displaystyle \lim _{n\rightarrow \infty }P\left(\zeta _{n}\leq z\right)=\Phi \left(z\right)}$

其中${\displaystyle \Phi (z)}$是標準正態分佈的分佈函數。

證明

記${\displaystyle X_{k}-\mu }$的特徵函數為${\displaystyle \varphi (t)}$，根據傅立葉轉換，樣本空間中的卷積在特徵函數空間變為乘積，因此${\displaystyle \zeta _{n}}$的特徵函數為${\displaystyle {\left[\varphi {\left({\frac {t}{\sigma {\sqrt {n}}}}\right)}\right]}^{n}}$.由於${\displaystyle E(X_{k})=\mu ,D(X_{k})=\sigma ^{2}}$故${\displaystyle \varphi '(0)=0,\varphi ''(0)=-\sigma ^{2}.}$因此

${\displaystyle \varphi (t)=1-{\frac {1}{2}}\sigma ^{2}t^{2}+o(t^{2})}$

所以

${\displaystyle {\left[\varphi {\left({\frac {t}{\sigma {\sqrt {n}}}}\right)}\right]}^{n}=\left[1-{\frac {1}{2n}}t^{2}+o\left({\frac {t^{2}}{n}}\right)\right]^{n}\to {e^{-t^{2}/2}}}$

由於${\displaystyle e^{-t^{2}/2}}$是連續函數，它對應的分佈函數為${\displaystyle \Phi (Z)}$，因此由逆極限定理知

${\displaystyle \lim _{n\rightarrow \infty }P\left(\zeta _{n}\leq z\right)\to \Phi \left(z\right)}$

定理證畢。

林德伯格-費勒定理

林德伯格（英語：Jarl Waldemar Lindeberg）-費勒（Lindeberg-Feller）定理，是中心極限定理的高級形式，是對林德伯格-萊維定理的擴展，討論獨立的，但不同分佈的情況下的隨機變量和。它表明，滿足一定條件時，獨立的，但不同分佈的隨機變量序列的標準化和依然以標準正態分佈為極限：

內容

記隨機變量序列${\displaystyle X_{i}}$（${\displaystyle X_{i}}$獨立但不一定同分佈，${\displaystyle E[X_{i}]=0}$且有有限方差）部分和為

${\displaystyle S_{n}=\sum _{i=1}^{n}X_{i}}$

記

${\displaystyle s_{i}^{2}={\rm {Var}}(X_{i})}$

${\displaystyle \sigma _{n}^{2}=\sum _{i=1}^{n}s_{i}^{2}={\rm {Var}}(S_{n})}$.

如果對每個${\displaystyle \epsilon >0}$，序列滿足

${\displaystyle \lim _{n\rightarrow \infty }{1 \over \sigma _{n}^{2}}\sum _{i=1}^{n}E[X_{i}^{2};\{|X_{i}|>\epsilon \sigma _{n}\}]=0}$

則稱它滿足林德伯格（Lindeberg）條件。

滿足此條件的序列趨向於正態分佈，即

${\displaystyle S_{n}/\sigma _{n}{\stackrel {d}{\rightarrow }}N(0,1)}$

同時，該條件也是期望值為零、方差有限的獨立變量之和趨於正態分佈的必要條件。

與之相關的是李亞普諾夫（Lyapunov）條件：

${\displaystyle E[|X_{i}|^{3}]<\infty ,\,\lim _{n\rightarrow \infty }{1 \over \sigma _{n}^{3}}\sum _{i=1}^{n}E[|X_{i}|^{3}]=0}$

滿足李亞普諾夫條件的序列，必滿足林德伯格條件。

證明

在此只對較強的李亞普諾夫條件給出證明。

以下證明對每一實數${\displaystyle t}$，特徵函數滿足${\displaystyle \varphi _{S_{n}/\sigma _{n}}(t)\rightarrow e^{-t^{2}/2}}$。

${\displaystyle \left|\varphi _{S_{n}/\sigma _{n}}(t)-e^{-t^{2}/2}\right|=\left|\prod _{k=1}^{n}\varphi _{X_{k}}(t/\sigma _{n})-\prod _{k=1}^{n}e^{-t^{2}s_{k}^{2}/2\sigma _{n}^{2}}\right|\leq \sum _{k=1}^{n}\left|\varphi _{X_{k}}(t/\sigma _{n})-e^{-t^{2}s_{k}^{2}/2\sigma _{n}^{2}}\right|}$

泰勒展開，上式可近似為

${\displaystyle \sum _{k=1}^{n}\left|{\frac {i^{3}t^{3}E[X_{k}^{3}]}{6\sigma _{n}^{3}}}+{\frac {t^{4}s_{k}^{4}}{8\sigma _{n}^{4}}}\right|\leq {|t|^{3} \over 6\sigma _{n}^{3}}\sum _{k=1}^{n}E[|X_{k}|^{3}]+{\frac {t^{4}}{8\sigma _{n}^{4}}}\sum _{k=1}^{n}s_{k}^{4}\leq {|t|^{3} \over 6\sigma _{n}^{3}}\sum _{k=1}^{n}E[|X_{k}|^{3}]+{\frac {t^{4}}{8}}\max _{1\leq k\leq n}{s_{k}^{2} \over \sigma _{n}^{2}}}$

由李亞普諾夫條件，當${\displaystyle n\rightarrow \infty }$時，第一項收斂於零。

令${\displaystyle k_{n}={\rm {arg}}\max _{1\leq k\leq n}s_{k}^{2}/\sigma _{n}^{2}}$，則由李亞普諾夫不等式，

${\displaystyle (s_{k_{n}}/\sigma _{n})^{3/2}\leq E[|X_{k_{n}}/\sigma _{n}|^{3}]\leq {\frac {1}{\sigma _{n}^{3}}}\sum _{k=1}^{n}E[|X_{k}|^{3}]}$

因此第二項也收斂於零。

證畢。

廣義的定理

主條目：穩定分佈 § 廣義中心極限定理

中心極限定理指出，隨着隨機變量數量的增加，許多具有有限方差的獨立的且相同分佈的隨機變量的總和將趨於正態分佈。

參閱

• 漸進分佈
• 大數法則
• 重對數律
• 鞅中心極限定理
• 本福特法則
• 歐文–賀爾分佈

參考文獻

• 李賢平，概率論基礎（第二版），高等教育出版社
• Olav Kallenberg，現代概率論基礎（第二版），Springer（2002）。

外部連結

• 中央極限定理的動態例示（英文）（頁面存檔備份，存於互聯網檔案館）