二項式分布

在機率論和統計學中，二項式分布（英語：binomial distribution）是一種離散機率分佈，描述在進行獨立隨機試驗時，每次試驗都有相同機率「成功」的情況下，獲得成功的總次數。擲硬幣十次出現五次正面的機率、產品合格率${\displaystyle \,99\%\,}$時抽出一百件樣本沒有發現一件次品的機率等等，都可以由二項式分布給出。

二項分佈

機率質量函數
累積分佈函數
記號	${\displaystyle \operatorname {B} (n,p)}$
參數	${\displaystyle n>0}$ ${\displaystyle 0\leq p\leq 1}$
值域	${\displaystyle k\in \{0,\dots ,n\}}$
機率質量函數	${\displaystyle {n \choose k}p^{k}(1-p)^{n-k}}$
累積分佈函數	${\displaystyle I_{1-p}(n-\lfloor k\rfloor ,\lfloor k\rfloor +1)}$
期望值	${\displaystyle np}$
中位數	${\displaystyle \lfloor np\rfloor }$或${\displaystyle \lceil np\rceil }$
眾數	${\displaystyle \lfloor (n+1)p\rfloor }$
變異數	${\displaystyle np(1-p)}$
偏度	${\displaystyle {\frac {1-2p}{\sqrt {np(1-p)}}}}$
峰度	${\displaystyle {\frac {1-6p(1-p)}{np(1-p)}}}$
熵	${\displaystyle {\frac {1}{2}}\ln \left(2\pi nep(1-p)\right)+O\left({\frac {1}{n}}\right)}$
動差母函數	${\displaystyle (1-p+pe^{t})^{n}}$
特徵函數	${\displaystyle (1-p+pe^{it})^{n}}$
機率母函數	${\displaystyle (1-p+pz)^{n}}$

只有「成功」和「失敗」兩種可能結果，每次重複時成功機率不變的獨立隨機試驗稱作伯努利試驗，例如上述的擲硬幣出現正面或反面、對產品進行抽樣檢查時抽到正品或次品。伯努利試驗作為理論模型，其前提在現實中無法完全得到滿足，比如生產線會磨損，因此每件產品合格的機率並非固定^[1]。儘管如此，二項式分布給出的機率通常足以用於提供有用的推斷；即使在已知前提沒有滿足的場合，二項式分布也能用於參考和比較。二項式分布的應用出現在遺傳學、質量控制等領域之中。^[2]

定義

若隨機變量${\displaystyle \,X\,}$有機率質量函數

${\displaystyle \Pr(X=k)={n \choose k}p^{k}(1-p)^{n-k}\quad (k=0,1,\ldots ,n),}$

其中${\displaystyle \,n\,}$為正整數、${\displaystyle \,0\leq p\leq 1\,}$，則稱${\displaystyle \,X\,}$服從參數為${\displaystyle \,n,p\,}$的二項式分布^[3]，記為${\displaystyle \,X\sim \operatorname {B} (n,p)\,}$或${\displaystyle \,X\sim \operatorname {Bin} (n,p)\,}$。習慣上${\displaystyle \,1-p\,}$也用${\displaystyle \,q\,}$表示。^[1]

推導

進行${\displaystyle \,n\,}$次獨立伯努利試驗的結果可以由${\displaystyle \,n\,}$個字母表示，例如用${\displaystyle \,S\,}$表示成功，${\displaystyle \,F\,}$表示失敗，則

${\displaystyle SSFSF}$

表示五次試驗中第一、二、四次的結果為成功，其餘為失敗。設每次試驗成功的機率為${\displaystyle \,p\,}$，失敗的機率為${\displaystyle \,1-p\,}$。因為試驗相互獨立，每一種排列${\displaystyle \,k\,}$個${\displaystyle \,S\,}$、${\displaystyle \,n-k\,}$個${\displaystyle \,F\,}$的方式對應的機率為${\displaystyle \,p^{k}(1-p)^{n-k}\,}$。^[1]

從${\displaystyle \,n\,}$個不同元素中選出含${\displaystyle \,k\,}$個元素的子集的方法數量等於二項式系數

${\displaystyle {n \choose k}={\frac {n!}{k!(n-k)!}}.}$^[4]

而每種對${\displaystyle \,k\,}$個${\displaystyle \,S\,}$、${\displaystyle \,n-k\,}$個${\displaystyle \,F\,}$的排列都可理解為從${\displaystyle \,n\,}$個位置中選出${\displaystyle \,k\,}$個作為字母${\displaystyle \,S\,}$的位置的方法，這種方法的數量即為${\displaystyle \,{n \choose k}\,}$。與每種排列方式對應的機率相乘，便得到定義中的機率

${\displaystyle {n \choose k}p^{k}(1-p)^{n-k}.}$^[5]

歷史

二項式分布是最早得到研究的機率分佈之一^[6]。丹麥統計學家安德斯·哈爾德認為其歷史可以追溯至布萊茲·帕斯卡與皮埃爾·德·費馬於1654年對點數分配問題的討論：兩名玩家贏得每局遊戲的機會相同，贏得一定局數的勝者可獲得獎金，但比賽僅進行了數局，尚未分出勝負就被迫中斷，則獎金該如何分配？帕斯卡認為，獎金的分配應當基於玩家距離勝利所差的局數：若一名玩家還需${\displaystyle \,r\,}$局獲勝，另一名玩家還需${\displaystyle \,s\,}$局獲勝，則應考慮在${\displaystyle \,r+s-1\,}$局比賽的${\displaystyle \,2^{r+s-1}\,}$種結果中，兩名玩家分別在多少種情況中獲勝。兩人的討論限於這一問題本身，並未推導出二項式分布的機率，但這一解法可被視作基於參數${\displaystyle \,p=1/2\,}$的二項式分布。^[7]

對二項式分布機率的推導為雅各布·伯努利於《猜度術（英語：Ars Conjectandi）》中作出。該著作在他去世後，於1713年得到出版，被視作機率論的奠基性作品。伯努利還在其中首次給出了弱大數法則的嚴格證明^[8][9]。對二項式分布的正態近似則是由亞伯拉罕·狄默夫發現，這一工作於1733年完成，於1738年出版在其著作《機遇論（英語：The Doctrine of Chances）》的第二版中。^[10]

性質

參數為${\displaystyle \,n,p\,}$的二項式分布的期望值為${\displaystyle \,np\,}$，方差為${\displaystyle \,np(1-p)\,}$。其機率母函數為

${\displaystyle G(z)=(1-p+pz)^{n},}$

動差母函數為

${\displaystyle M_{X}(t)=(1-p+pe^{t})^{n},}$

特徵函數為

${\displaystyle \varphi _{X}(t)=(1-p+pe^{it})^{n}.}$^[3][11]

參數${\displaystyle \,n=1\,}$的二項式分布稱作伯努利分佈^[3]。多項分佈（英語：Multinomial distribution）是二項式分布的拓展，描述重複進行不限於兩種結果、可能有多種可能結果的隨機試驗時的機率^[12]。二項式分布本身是超幾何分佈的極限形式。^[13]

二項式分布的和

若${\displaystyle \,X_{1},X_{2}\,}$兩個隨機變量獨立，分別服從參數為${\displaystyle \,n_{1},p\,}$和${\displaystyle \,n_{2},p\,}$的二項式分布，則${\displaystyle \,X_{1}+X_{2}\,}$即是在${\displaystyle \,n_{1}+n_{2}\,}$次獨立伯努利試驗中取得成功的次數，所以${\displaystyle \,X_{1}+X_{2}\,}$服從參數為${\displaystyle \,n_{1}+n_{2},p\,}$的二項式分布。這一結論亦可通過將兩者的機率母函數相乘而得出。在條件${\displaystyle \,X_{1}+X_{2}=k\,}$之下，隨機變量${\displaystyle \,X_{1}\,}$的條件機率分佈是參數為${\displaystyle \,k,n_{1},n_{1}+n_{2}\,}$的超幾何分佈。^[14]

眾數

計算${\displaystyle \,\Pr(X=k)\,}$和${\displaystyle \,\Pr(X=k+1)\,}$的比值可以得到

${\displaystyle {\frac {\Pr(X=k+1)}{\Pr(X=k)}}={\frac {(n-k)p}{(k+1)(1-p)}}\quad (k=0,1,\ldots ,n-1),}$

因此，當${\displaystyle \,k<(n+1)p-1\,}$時，${\displaystyle \,\Pr(X=k)\,}$隨${\displaystyle \,k\,}$增加而上升；當${\displaystyle \,k>(n+1)p-1\,}$時，${\displaystyle \,\Pr(X=k)\,}$隨${\displaystyle \,k\,}$增加而下降。故二項式分布的眾數為${\displaystyle \,(n+1)p\,}$的下取整${\displaystyle \,\lfloor (n+1)p\rfloor \,}$。若${\displaystyle \,(n+1)p\,}$本身是整數，則${\displaystyle \,(n+1)p\,}$和${\displaystyle \,(n+1)p-1\,}$均是眾數。若${\displaystyle \,p<(n+1)^{-1}\,}$，則眾數為${\displaystyle \,0\,}$。^[15]

中位數

二項式分布的中位數${\displaystyle \,m\,}$位於${\displaystyle \,np\,}$的上下取整之間，即${\displaystyle \,\lfloor np\rfloor \leq m\leq \lceil np\rceil \,}$；若${\displaystyle \,np\,}$為整數，則中位數${\displaystyle \,m=np\,}$。中位數${\displaystyle \,m\,}$和期望值${\displaystyle \,np\,}$之間的差滿足

${\displaystyle |m-np|<\max\{p,1-p\}.}$

若${\displaystyle \,p>\ln 2\,}$或${\displaystyle \,p<1-\ln 2\,}$，則該上界可進一步縮減為

${\displaystyle |m-np|<\ln 2.}$

若${\displaystyle \,n\,}$為奇數、${\displaystyle \,p=1/2\,}$，則${\displaystyle \,(n-1)/2\,}$和${\displaystyle \,(n+1)/2\,}$均為中位數。^[16][17]

累積分佈函數

二項式分布的累積分佈函數和尾機率可以用正則化不完全貝塔函數表示為

${\displaystyle \Pr(X\leq k)=I_{1-p}(n-\lfloor k\rfloor ,\lfloor k\rfloor +1),}$

${\displaystyle \Pr(X\geq k)=I_{p}(\lceil k\rceil ,n-\lceil k\rceil +1).}$^[18]

動差

二項式分布的${\displaystyle \,r\,}$階原動差滿足

${\displaystyle \mu '_{r}=E[X^{r}]=\sum _{j=0}^{r}{\frac {S(r,j)n!p^{j}}{(n-j)!}},}$

其中${\displaystyle \,S(r,j)\,}$表示第二類（英語：Stirling numbers of the second kind）士他令數。具體而言，

${\displaystyle \mu '_{1}=np,}$

${\displaystyle \mu '_{2}=np+n(n-1)p^{2},}$

${\displaystyle \mu '_{3}=np+3n(n-1)p^{2}+n(n-1)(n-2)p^{3},}$

${\displaystyle \mu '_{4}=np+7n(n-1)p^{2}+6n(n-1)(n-2)p^{3}+n(n-1)(n-2)(n-3)p^{4}.}$

其低階主動差為

${\displaystyle \mu _{2}=np(1-p),}$

${\displaystyle \mu _{3}=np(1-p)(1-2p),}$

${\displaystyle \mu _{4}=3[np(1-p)]^{2}+np(1-p)[1-6p(1-p)].}$^[19]

近似

正態近似

${\displaystyle n=6}$、${\displaystyle p=0.5}$時的二項式分布及其正態近似

標準二項式分布

${\displaystyle X'={\frac {X-np}{\sqrt {np(1-p)}}}}$

在${\displaystyle \,n\to \infty \,}$時趨近於標準正態分佈。這一結果稱作狄默夫-拉普拉斯定理（英語：De Moivre–Laplace theorem），為中心極限定理的特殊形式。基於這一定理可以得到

${\displaystyle \Pr(\alpha <{\frac {X-np}{\sqrt {np(1-p)}}}<\beta )\to \Phi (\beta )-\Phi (\alpha ),}$

其中${\displaystyle \,\Phi \,}$為標準正態分佈的累積分佈函數。^[20]

正態分佈為連續機率分佈，在近似二項式分布這類離散機率分佈時，可將端點向外偏移${\displaystyle \,0.5\,}$得到

${\displaystyle \Pr(X\leq k)\approx \Phi \left({\frac {k+0.5-np}{\sqrt {np(1-p)}}}\right),}$

從而提升近似的準確性，這種技巧稱作連續性校正（英語：Continuity correction）^[21]。何時能採用這一近似依賴於使用經驗法則，例如要求${\displaystyle \,np(1-p)>9\,}$，或是在${\displaystyle \,p\leq 0.5\,}$時要求${\displaystyle \,np>5\,}$、在${\displaystyle \,p>0.5\,}$時要求${\displaystyle \,n(1-p)>5\,}$。^[22][23]

泊松近似

當${\displaystyle \,n\to \infty ,p\to 0\,}$，而${\displaystyle \,np\,}$保持不變時，二項式分布趨近於參數為${\displaystyle \,np\,}$的泊松分佈。以此為基礎可以得到

${\displaystyle \Pr(X\leq k)\approx e^{-np}\sum _{j=0}^{k}{\frac {(np)^{j}}{j!}}.}$^[24]

二項式分布與其泊松近似之間的絕對誤差存在上界。若隨機變量${\displaystyle \,X\,}$服從參數為${\displaystyle \,n,p\,}$的二項式分布，隨機變量${\displaystyle \,Y\,}$服從參數為${\displaystyle \,np\,}$的泊松分佈，則

${\displaystyle \sum _{k=0}^{\infty }\|\Pr(X=k)-\Pr(Y=k)\|\leq \min\{2np^{2},3p\}.}$^[25]

參數估計

點估計

通常參數${\displaystyle \,n\,}$為已知。假設隨機變量${\displaystyle \,X\,}$服從二項式分布，其參數${\displaystyle \,p\,}$未知。若觀測到${\displaystyle \,X\,}$的值為${\displaystyle \,x\,}$，採用動差估計和最大似然估計對參數${\displaystyle \,p\,}$的估計量均為${\displaystyle \,{\frac {x}{n}}\,}$，這一估計量為無偏的。^[26]

參數${\displaystyle \,p\,}$的貝氏估計量（英語：Bayes estimator）取決於使用的先驗分布。若使用連續型均勻分佈作為先驗分布，即假設${\displaystyle \,0\,}$和${\displaystyle \,1\,}$之間任意等長的區間包含${\displaystyle \,p\,}$的機率都相同，則後驗均值估計量為

${\displaystyle {\widehat {p}}={\frac {x+1}{n+2}}.}$

這被稱作拉普拉斯–貝氏估計量（英語：Laplace–Bayes estimator），曾被皮埃爾-西蒙·拉普拉斯用於估計在太陽連續升起${\displaystyle \,n\,}$天之後，太陽明天還會升起的機率。由於人類知道太陽在過去五千年，即1,826,213天都正常升起，拉普拉斯願意以1,826,214比1的賠率賭太陽明天繼續升起。^[27]

若使用參數為${\displaystyle \,\alpha ,\beta \,}$的貝塔分佈作為先驗分布，則後驗均值估計量為

${\displaystyle {\widehat {p}}={\frac {\alpha +x+1}{\alpha +\beta +n+2}}.}$

採用貝塔分佈作為先驗分布時，後驗分布亦是貝塔分佈，即貝塔分佈為二項式分布的共軛先驗。^[28]

區間估計

若要對參數${\displaystyle \,p\,}$以區間形式給出估計，通過求解

${\displaystyle \sum _{j=x}^{n}{n \choose j}p_{L}^{j}(1-p_{L})^{n-j}={\frac {\alpha }{2}},}$

${\displaystyle \sum _{j=0}^{x}{n \choose j}p_{U}^{j}(1-p_{U})^{n-j}={\frac {\alpha }{2}},}$

所得的區間${\displaystyle \,(p_{L},p_{U})\,}$為一個置信水平近似為${\displaystyle \,1-\alpha \,}$的置信區間，稱作克洛珀-皮爾森區間（Clopper-Pearson interval）。^[29]

正態分佈可以用於推導近似的置信區間。若用${\displaystyle \,\lambda _{\alpha /2}\,}$表示標準正態分佈的第${\displaystyle \,1-{\frac {\alpha }{2}}\,}$分位數，即${\displaystyle \,\Phi (\lambda _{\alpha /2})=1-{\frac {\alpha }{2}}\,}$，則區間兩端的近似值為

${\displaystyle {\frac {x}{n}}\pm {\frac {\lambda _{\alpha /2}}{\sqrt {n}}}{\sqrt {{\frac {x}{n}}\left(1-{\frac {x}{n}}\right)}}.}$^[30][31]

參見

• 機率論
• 機率分佈
• 正態分佈
• 泊松分佈
• 伯努利分佈
• 負二項式分布
• 多項分佈（英語：Multinomial distribution）

註釋

1. Feller 1968，第146–147頁.
2. Johnson, Kemp & Kotz 2005，第135–136頁.
3. Johnson, Kemp & Kotz 2005，第108頁.
4. Feller 1968，第34頁.
5. Feller 1968，第147–150頁.
6. Johnson, Kemp & Kotz 2005，第109頁.
7. Hald 2003，第54–63頁.
8. Hald 2003，第223–228頁.
9. Stigler 1986，第62–70頁.
10. Stigler 1986，第70–85頁.
11. Johnson, Kemp & Kotz 2005，第109–112頁.
12. Feller 1968，第167–169頁.
13. Johnson, Kemp & Kotz 2005，第140頁.
14. Johnson, Kemp & Kotz 2005，第115頁.
15. Johnson, Kemp & Kotz 2005，第112頁.
16. Kaas & Buhrman 1980.
17. Hamza 1995.
18. Johnson, Kemp & Kotz 2005，第119頁.
19. Johnson, Kemp & Kotz 2005，第110頁.
20. Feller 1968，第182–185頁.
21. Feller 1968，第185–186頁.
22. Schader & Schmid 1989.
23. Johnson, Kemp & Kotz 2005，第116–117頁.
24. Feller 1968，第153–154頁.
25. Sheu 1984.
26. Johnson, Kemp & Kotz 2005，第126頁.
27. Feller 1968，第123–124頁.
28. Chew 1971.
29. Johnson, Kemp & Kotz 2005，第130–131頁.
30. Johnson, Kemp & Kotz 2005，第132頁.
31. Blyth 1986.

參考文獻

• Blyth, C. R. Approximate Binomial Confidence Limits. Journal of the American Statistical Association. 1986, 81: 843–855. doi:10.1080/01621459.1986.10478343 （英語）.
• Chew, V. Point Estimation of the Parameter of the Binomial Distribution. The American Statistician. 1971, 25 (5): 47–50. doi:10.1080/00031305.1971.10477305 （英語）.
• Feller, W. An Introduction to Probability Theory and Its Applications, Volume 1, Third Edition. Wiley. 1968. ISBN 0-471-25708-7 （英語）.
• Hald, A. A History of Probability and Statistics and Their Applications before 1750. Wiley. 2003. ISBN 0-471-47129-1 （英語）.
• Hamza, K. The Smallest Uniform Upper Bound on the Distance Between the Mean and the Median of the Binomial and Poisson Distributions. Statistics and Probability Letters. 1995, 23: 21–25. doi:10.1016/0167-7152(94)00090-U （英語）.
• Johnson, N. L.; Kemp, A. W.; Kotz, S. Univariate Discrete Distributions, Third Edition. Wiley. 2005. ISBN 0-471-27246-9 （英語）.
• Kaas, R.; Buhrman, J. M. Mean, Median and Mode in Binomial Distributions. Statistica Neerlandica. 1980, 34 (1): 13–18. doi:10.1111/j.1467-9574.1980.tb00681.x （英語）.
• Schader, M.; Schmid, F. Two Rules of Thumb for the Approximation of the Binomial Distribution by the Normal Distribution. The American Statistician. 1989, 43 (1): 23–24. doi:10.1080/00031305.1989.10475601 （英語）.
• Sheu, S. S. The Poisson Approximation to the Binomial Distribution. The American Statistician. 1984, 38 (3): 206–207. doi:10.1080/00031305.1984.10483202 （英語）.
• Stigler, S. M. The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press. 1986. ISBN 0-674-40340-1 （英語）.