常態分布 (normal distribution ,中國大陸作正態分布 ),物理學中通稱高斯分佈 (Gaussian distribution )[ 1] ,是一個非常常見的連續機率分布 。正態分布在統計學 上十分重要,經常用在自然 和社會科學 來代表一個不明的隨機變量。[ 2] [ 3]
Quick Facts 記號, 參數 ...
Close
若隨機變數
X
{\displaystyle X}
服從一個平均數 為
μ
{\displaystyle \mu }
、標準差 為
σ
{\displaystyle \sigma }
的正態分布,則記為:
X
∼
N
(
μ
,
σ
2
)
,
{\displaystyle X\sim N(\mu ,\sigma ^{2}),}
[ 4]
則其機率密度函數 為
f
(
x
)
=
1
σ
2
π
e
−
(
x
−
μ
)
2
2
σ
2
{\displaystyle f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\;e^{-{\frac {\left(x-\mu \right)^{2}}{2\sigma ^{2}}}}\!}
[ 4] [ 5]
正態分布的數學期望 值或期望值
μ
{\displaystyle \mu }
,可解釋為位置參數,決定了分布的位置;其方差
σ
2
{\displaystyle \sigma ^{2}}
的平方根或標準差
σ
{\displaystyle \sigma }
可解釋尺度參數,決定了分布的幅度。[ 5]
中心極限定理 指出,在特定條件下,一個具有有限均值 和方差 的隨機變量 的多個樣本 (觀察值)的平均值本身就是一個隨機變量,其分布隨着樣本數量的增加而收斂 於正態分布。因此,許多與獨立過程總和有關的物理量,例如測量誤差,通常可被近似為正態分布。
正態分布的機率密度函數曲線呈鐘形,因此人們又經常稱之為鐘形曲線 (類似於寺廟裡的大鐘 ,因此得名)。我們通常所說的標準正態分布 是位置參數
μ
=
0
{\displaystyle \mu =0}
,尺度參數
σ
2
=
1
{\displaystyle \sigma ^{2}=1}
的正態分布[ 5] (見右圖中紅色曲線)。
正態分布是自然科學 與行為科學 中的定量現象的一個方便模型。各種各樣的心理學 測試分數和物理 現象比如光子 計數都被發現近似地服從正態分布。儘管這些現象的根本原因經常是未知的,理論上可以證明如果把許多小作用加起來看做一個變量,那麼這個變量服從正態分布(在R.N.Bracewell的Fourier transform and its application中可以找到一種簡單的證明)。正態分布出現在許多區域統計 :例如,採樣分布 均值 是近似地正態的,即使被採樣的樣本的原始群體分布並不服從正態分布。另外,正態分布信息熵 在所有的已知均值及方差的分布中最大,這使得它作為一種均值 以及方差 已知的分布的自然選擇。正態分布是在統計以及許多統計測試中最廣泛應用的一類分布。在概率論 ,正態分布是幾種連續以及離散分布的極限 分布。
正態分布最早是棣莫弗 在1718年著作的書籍的(Doctrine of Change ),及1734年發表的一篇關於二項分布 文章中提出的,當二項隨機變數的位置參數n很大及形狀參數p為1/2時,則所推導出二項分布的近似分布函數就是正態分布。拉普拉斯 在1812年發表的《分析概率論》(Theorie Analytique des Probabilites )中對棣莫佛的結論作了擴展到二項分布的位置參數為n及形狀參數為1>p>0時。現在這一結論通常被稱為棣莫佛-拉普拉斯定理 。
拉普拉斯在誤差 分析試驗中使用了正態分布。勒讓德 於1805年引入最小二乘法 這一重要方法;而高斯 則宣稱他早在1794年就使用了該方法,並通過假設誤差服從常態分布給出了嚴格的證明。
將正態分布稱作「鐘形曲線」的習慣可以追溯到Jouffret 他在1872年首次提出這個術語(Bell curve)用來指代二元常態分布 。正態分布這個名字還被查爾斯·皮爾士 、法蘭西斯·高爾頓 、威爾赫姆·萊克希斯 在1875分別獨立地使用。這個術語是不幸的,因為它反映和鼓勵了一種謬誤,即很多概率分布都是常態的。(請參考下面的「實例」)
這個分布被稱為「常態」或者「高斯」正好是史蒂格勒名字由來法則 的一個例子,這個法則說「沒有科學發現是以它最初的發現者命名的」。
有幾種不同的方法用來說明一個隨機變量。最直觀的方法是概率密度函數 ,這種方法能夠表示隨機變量每個取值有多大的可能性。累積分布函數 是一種概率上更加清楚的方法,請看下邊的例子。還有一些其他的等價方法,例如cumulant、特徵函數 、動差生成函數 以及cumulant-生成函數 。這些方法中有一些對於理論工作非常有用,但是不夠直觀。請參考關於概率分布 的討論。
動差生成函數 ,或稱動差母函數被定義為
exp
(
t
X
)
{\displaystyle \exp(tX)}
的期望值。
正態分布的動差產生函數如下:
M
X
(
t
)
{\displaystyle M_{X}(t)\,}
=
E
(
e
t
X
)
{\displaystyle =\mathrm {E} \left(e^{tX}\right)}
=
∫
−
∞
∞
1
σ
2
π
e
(
−
(
x
−
μ
)
2
2
σ
2
)
e
t
x
d
x
{\displaystyle =\int _{-\infty }^{\infty }{\frac {1}{\sigma {\sqrt {2\pi }}}}e^{\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}e^{tx}\,dx}
=
e
(
μ
t
+
σ
2
t
2
2
)
{\displaystyle =e^{\left(\mu t+{\frac {\sigma ^{2}t^{2}}{2}}\right)}}
可以通過在指數函數內配平方得到。
常態分布的一些性質:
如果
X
∼
N
(
μ
,
σ
2
)
{\displaystyle X\sim N(\mu ,\sigma ^{2})\,}
且
a
{\displaystyle a}
與
b
{\displaystyle b}
是實數 ,那麼
a
X
+
b
∼
N
(
a
μ
+
b
,
(
a
σ
)
2
)
{\displaystyle aX+b\sim N(a\mu +b,(a\sigma )^{2})}
(參見期望值 和方差 ).
如果
X
∼
N
(
μ
X
,
σ
X
2
)
{\displaystyle X\sim N(\mu _{X},\sigma _{X}^{2})}
與
Y
∼
N
(
μ
Y
,
σ
Y
2
)
{\displaystyle Y\sim N(\mu _{Y},\sigma _{Y}^{2})}
是統計獨立 的常態隨機變量 ,那麼:
它們的和也滿足常態分布
U
=
X
+
Y
∼
N
(
μ
X
+
μ
Y
,
σ
X
2
+
σ
Y
2
)
{\displaystyle U=X+Y\sim N(\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})}
(proof ).
它們的差也滿足常態分布
V
=
X
−
Y
∼
N
(
μ
X
−
μ
Y
,
σ
X
2
+
σ
Y
2
)
{\displaystyle V=X-Y\sim N(\mu _{X}-\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})}
.
U
{\displaystyle U}
與
V
{\displaystyle V}
兩者是相互獨立的。(要求X與Y的方差相等)
如果
X
∼
N
(
0
,
σ
X
2
)
{\displaystyle X\sim N(0,\sigma _{X}^{2})}
和
Y
∼
N
(
0
,
σ
Y
2
)
{\displaystyle Y\sim N(0,\sigma _{Y}^{2})}
是獨立常態隨機變量,那麼:
它們的積
X
Y
{\displaystyle XY}
服從機率密度函數為
p
{\displaystyle p}
的分布
p
(
z
)
=
1
π
σ
X
σ
Y
K
0
(
|
z
|
σ
X
σ
Y
)
,
{\displaystyle p(z)={\frac {1}{\pi \,\sigma _{X}\,\sigma _{Y}}}\;K_{0}\left({\frac {|z|}{\sigma _{X}\,\sigma _{Y}}}\right),}
其中
K
0
{\displaystyle K_{0}}
是修正貝塞爾函數(modified Bessel function)
它們的比符合柯西分布 ,滿足
X
/
Y
∼
C
a
u
c
h
y
(
0
,
σ
X
/
σ
Y
)
{\displaystyle X/Y\sim \mathrm {Cauchy} (0,\sigma _{X}/\sigma _{Y})}
.
如果
X
1
,
⋯
,
X
n
{\displaystyle X_{1},\cdots ,X_{n}}
為獨立標準常態隨機變量,那麼
X
1
2
+
⋯
+
X
n
2
{\displaystyle X_{1}^{2}+\cdots +X_{n}^{2}}
服從自由度為n 的卡方分布 。
一些常態分布的一階動差如下:
標準常態的所有二階以上的累積量 為零。
深藍色區域是距平均值小於一個標準差之內的數值範圍。在常態分布 中,此範圍所佔比率為全部數值之68% ,根據常態分布,兩個標準差之內的比率合起來為95% ;三個標準差之內的比率合起來為99% 。
在實際應用上,常考慮一組數據具有近似於常態分布 的機率分布。若其假設正確,則約68.3% 數值分布在距離平均值有1個標準差之內的範圍,約95.4% 數值分布在距離平均值有2個標準差之內的範圍,以及約99.7% 數值分布在距離平均值有3個標準差之內的範圍。稱為「68-95-99.7法則 」或「經驗法則 」。
More information 數字比率 標準差值, 機率 ...
數字比率 標準差值
機率
包含之外比例
百分比
百分比
比例
6999318639000000000♠ 0.318639 σ
25%
75%
3 / 4
6999674490000000000♠ 0.674490 σ
7001500000000000000♠ 50 %
7001500000000000000♠ 50 %
1 / 7000200000000000000♠ 2
6999994458000000000♠ 0.994458 σ
68%
32%
1 / 3.125
1σ
7001682689492000000♠ 68.2689492 %
7001317310508000000♠ 31.7310508 %
1 / 7000315148720000000♠ 3.1514872
7000128155200000000♠ 1.281552 σ
80%
20%
1 / 5
7000164485400000000♠ 1.644854 σ
90%
10%
1 / 10
7000195996400000000♠ 1.959964 σ
95%
5%
1 / 20
2σ
7001954499736000000♠ 95.4499736 %
7000455002640000000♠ 4.5500264 %
1 / 7001219778950000000♠ 21.977895
7000257582900000000♠ 2.575829 σ
99%
1%
1 / 100
3σ
7001997300204000000♠ 99.7300204 %
6999269979600000000♠ 0.2699796 %
1 / 370.398
7000329052700000000♠ 3.290527 σ
99.9%
0.1%
1 / 7003100000000000000♠ 1000
7000389059200000000♠ 3.890592 σ
99.99%
0.01%
1 / 7004100000000000000♠ 10000
4σ
7001999936660000000♠ 99.993666 %
6997633400000000000♠ 0.006334 %
1 / 7004157870000000000♠ 15787
7000441717300000000♠ 4.417173 σ
99.999%
0.001%
1 / 7005100000000000000♠ 100000
7000450000000000000♠ 4.5σ
99.999320 465 3751%
0.000679 534 6249%
1 / 7005147159535800000♠ 147159 .5358 3.4 / 7006100000000000000♠ 1000 000 (每一邊 )
7000489163800000000♠ 4.891638 σ
7001999999000000000♠ 99.9999 %
6996100000000000000♠ 0.0001 %
1 / 7006100000000000000♠ 1000 000
5σ
7001999999426697000♠ 99.999942 6697 %
6995573303000000000♠ 0.000057 3303 %
1 / 7006174427800000000♠ 1744 278
7000532672399999999♠ 5.326724 σ
7001999999900000000♠ 99.99999 %
6995100000000000000♠ 0.00001 %
1 / 7007100000000000000♠ 10000 000
7000573072900000000♠ 5.730729 σ
7001999999990000000♠ 99.999999 %
6994100000000000000♠ 0.000001 %
1 / 7008100000000000000♠ 100000 000
7000600000000000000♠ 6σ
7001999999998027000♠ 99.999999 8027 %
6993197300000000000♠ 0.000000 1973 %
1 / 7008506797346000000♠ 506797 346
7000610941000000000♠ 6.109410 σ
7001999999999000000♠ 99.9999999 %
6993100000000000000♠ 0.0000001 %
1 / 7009100000000000000♠ 1000 000 000
7000646695100000000♠ 6.466951 σ
7001999999999900000♠ 99.999999 99 %
6992100000000000000♠ 0.000000 01 %
1 / 7010100000000000000♠ 10000 000 000
7000680650200000000♠ 6.806502 σ
7001999999999990000♠ 99.999999 999 %
6991100000000000000♠ 0.000000 001 %
1 / 7011100000000000000♠ 100000 000 000
7σ
99.999999 999 7440%
6990256000000000000♠ 0.000000 000 256 %
1 / 7011390682215445000♠ 390682 215 445
Close
R
∼
R
a
y
l
e
i
g
h
(
σ
)
{\displaystyle R\sim \mathrm {Rayleigh} (\sigma )}
是瑞利分布 ,如果
R
=
X
2
+
Y
2
{\displaystyle R={\sqrt {X^{2}+Y^{2}}}}
,這裡
X
∼
N
(
0
,
σ
2
)
{\displaystyle X\sim N(0,\sigma ^{2})}
和
Y
∼
N
(
0
,
σ
2
)
{\displaystyle Y\sim N(0,\sigma ^{2})}
是兩個獨立正態分布。
Y
∼
χ
ν
2
{\displaystyle Y\sim \chi _{\nu }^{2}}
是卡方分布 具有
ν
{\displaystyle \nu }
自由度 ,如果
Y
=
∑
k
=
1
ν
X
k
2
{\displaystyle Y=\sum _{k=1}^{\nu }X_{k}^{2}}
這裡
X
k
∼
N
(
0
,
1
)
{\displaystyle X_{k}\sim N(0,1)}
其中
k
=
1
,
…
,
ν
{\displaystyle k=1,\dots ,\nu }
是獨立的。
Y
∼
C
a
u
c
h
y
(
μ
=
0
,
θ
=
1
)
{\displaystyle Y\sim \mathrm {Cauchy} (\mu =0,\theta =1)}
是柯西分布 ,如果
Y
=
X
1
/
X
2
{\displaystyle Y=X_{1}/X_{2}}
,其中
X
1
∼
N
(
0
,
1
)
{\displaystyle X_{1}\sim N(0,1)}
並且
X
2
∼
N
(
0
,
1
)
{\displaystyle X_{2}\sim N(0,1)}
是兩個獨立的正態分布。
Y
∼
Log-N
(
μ
,
σ
2
)
{\displaystyle Y\sim {\mbox{Log-N}}(\mu ,\sigma ^{2})}
是對數正態分布 如果
Y
=
e
X
{\displaystyle Y=e^{X}}
並且
X
∼
N
(
μ
,
σ
2
)
{\displaystyle X\sim N(\mu ,\sigma ^{2})}
.
與Lévy skew alpha-stable分布 相關:如果
X
∼
Levy-S
α
S
(
2
,
β
,
σ
/
2
,
μ
)
{\displaystyle X\sim {\textrm {Levy-S}}\alpha {\textrm {S}}(2,\beta ,\sigma /{\sqrt {2}},\mu )}
因而
X
∼
N
(
μ
,
σ
2
)
{\displaystyle X\sim N(\mu ,\sigma ^{2})}
.
多元正態分布 的協方差矩陣 的估計的推導是比較難於理解的。它需要瞭解譜原理 (spectral theorem)以及為什麼把一個標量 看做一個1×1矩陣 的跡(trace)而不僅僅是一個標量更合理的原因。請參考協方差矩陣的估計 (estimation of covariance matrices)。
某飲料公司裝瓶流程嚴謹,每罐飲料裝填量符合平均600毫升,標準差3毫升的常態分配法則。隨機選取一罐,求(1)容量超過605毫升的機率;(2)容量小於590毫升的機率。
容量超過605毫升的機率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 1 - 0.9525 = 0.0475
容量小於590毫升的機率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004
6-標準差 (6-sigma或6-σ)的品質管制標準
6-標準差(6-sigma或6-σ),是製造業流行的品質管制標準。在這個標準之下,一個標準常態分配的變數值出現在正負三個標準差之外,只有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是說,這種品質管制標準的產品不良率只有萬分之二十六。假設例中的飲料公司裝瓶流程採用這個標準,而每罐飲料裝填量符合平均600毫升,標準差3毫升的常態分配。那麼預期裝填容量的範圍應該多少?
6-標準差的範圍 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609)
因此,預期裝填容量應該介於591至609毫升之間。
假設某校入學新生的智力測驗平均分數與標準差分別為100與12。那麼隨機抽取50個學生,他們智力測驗平均分數大於105的機率?小於90的機率?
本例沒有常態分配的假設,還好中央極限定理提供一個可行解,那就是當隨機樣本長度超過30,樣本平均數
x
¯
{\displaystyle {\bar {x}}}
近似於一個常態變數,
因此標準常態變數
Z
=
X
¯
−
μ
σ
/
n
{\displaystyle Z={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}}
。
平均分數大於105的機率
P
(
Z
>
105
−
100
12
/
50
)
=
P
(
Z
>
5
/
1.7
)
=
P
(
Z
>
2.94
)
=
0.0016
{\displaystyle P(Z>{\frac {105-100}{12/{\sqrt {50}}}})=P(Z>5/1.7)=P(Z>2.94)=0.0016}
平均分數小於90的機率
P
(
Z
<
90
−
100
12
/
50
)
=
P
(
Z
<
−
5.88
)
=
0.0000
{\displaystyle P(Z<{\frac {90-100}{12/{\sqrt {50}}}})=P(Z<-5.88)=0.0000}
在計算機模擬中,經常需要生成正態分布的數值。最基本的一個方法是使用標準的正態累積分布函數的反函數。除此之外還有其他更加高效的方法,Box-Muller變換就是其中之一。另一個更加快捷的方法是ziggurat算法。下面將介紹這兩種方法。一個簡單可行的並且容易編程的方法是:求12個在(0,1)上均勻分布的和,然後減6(12的一半)。這種方法可以用在很多應用中。這12個數的和是Irwin-Hall分布;選擇一個方差12。這個隨即推導的結果限制在(-6,6)之間,並且密度為12,是用11次多項式估計正態分布。
Box-Muller方法是以兩組獨立的隨機數U和V,這兩組數在(0,1]上均勻分布,用U和V生成兩組獨立的標準常態分布隨機變量X和Y:
X
=
−
2
ln
U
cos
(
2
π
V
)
,
{\displaystyle X={\sqrt {-2\ln U}}\,\cos(2\pi V),}
Y
=
−
2
ln
U
sin
(
2
π
V
)
{\displaystyle Y={\sqrt {-2\ln U}}\,\sin(2\pi V)}
。
這個方程的提出是因為二自由度的卡方分布 (見性質4)很容易由指數隨機變量(方程中的lnU)生成。因而通過隨機變量V可以選擇一個均勻環繞圓圈的角度,用指數分布選擇半徑然後變換成(正態分布的)x,y坐標。
物理學名詞審定委員會.物理學名詞 [S/OL].全國科學技術名詞審定委員會,公布. 3版.北京:科學出版社, 2019: 12. 科學文庫 .
Shaou-Gang Miaou; Jin-Syan Chou. 《Fundamentals of probability and statistics》. 高立圖書. 2012: 第147頁. ISBN 9789864128990 .
John Aldrich. Earliest Uses of Symbols in Probability and Statistics .網上材料,2006年6月3日存在.(See "Symbols associated with the Normal Distribution". )
Abraham de Moivre (1738年). The Doctrine of Chances .
Stephen Jay Gould (1981年). The Mismeasure of Man . First edition. W. W. Norton. ISBN 978-0-393-01489-1 .
R. J. Herrnstein and Charles Murray (1994年). The Bell Curve : Intelligence and Class Structure in American Life . Free Press . ISBN 978-0-02-914673-6 .
Pierre-Simon Laplace (1812年). Analytical Theory of Probabilities .
Jeff Miller, John Aldrich, et al. Earliest Known Uses of Some of the Words of Mathematics . In particular, the entries for "bell-shaped and bell curve" , "normal" (distribution) , "Gaussian" , and "Error, law of error, theory of errors, etc." .網上材料,2006年6月3日存在
S. M. Stigler (1999年). Statistics on the Table , chapter 22. Harvard University Press. (History of the term "normal distribution". )
Eric W. Weisstein et al. Normal Distribution (頁面存檔備份 ,存於網際網路檔案館 ) at MathWorld .網上材料,2006年6月3日存在。
Marvin Zelen and Norman C. Severo (1964年). Probability Functions. Chapter 26 of Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables , ed, by Milton Abramowitz and Irene A. Stegun . National Bureau of Standards .