正态分布 (normal distribution ,台湾作常态分布 ),物理学中通称高斯分布 (Gaussian distribution )[ 1] ,是一个非常常见的连续概率分布 。正态分布在统计学 上十分重要,经常用在自然 和社会科学 来代表一个不明的随机变量。[ 2] [ 3]
Quick Facts 记号, 参数 ...
Close
Quick Facts “normal distribution”的各地常用译名, 中国大陆 ...
“normal distribution”的各地常用译名 中国大陆 正态分布 台湾 常态分布 港澳 常态分布、正态分布 日本 正規分布 韩国 正規分布
Close
若随机变量
X
{\displaystyle X}
服从一个平均数 为
μ
{\displaystyle \mu }
、标准差 为
σ
{\displaystyle \sigma }
的正态分布,则记为:
X
∼
N
(
μ
,
σ
2
)
,
{\displaystyle X\sim N(\mu ,\sigma ^{2}),}
[ 4]
则其概率密度函数 为
f
(
x
)
=
1
σ
2
π
e
−
(
x
−
μ
)
2
2
σ
2
{\displaystyle f(x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\;e^{-{\frac {\left(x-\mu \right)^{2}}{2\sigma ^{2}}}}\!}
[ 4] [ 5]
正态分布的数学期望 值或期望
μ
{\displaystyle \mu }
,可解释为位置参数,决定了分布的位置;其方差
σ
2
{\displaystyle \sigma ^{2}}
的平方根或标准差
σ
{\displaystyle \sigma }
可解释尺度参数,决定了分布的幅度。[ 5]
中心极限定理 指出,在特定条件下,一个具有有限均值 和方差 的随机变量 的多个样本 (观察值)的平均值本身就是一个随机变量,其分布随着样本数量的增加而收敛 于正态分布。因此,许多与独立过程总和有关的物理量,例如测量误差,通常可被近似为正态分布。
正态分布的概率密度函数曲线呈钟形,因此人们又经常称之为钟形曲线 (类似于寺庙里的大钟 ,因此得名)。我们通常所说的标准正态分布 是位置参数
μ
=
0
{\displaystyle \mu =0}
,尺度参数
σ
2
=
1
{\displaystyle \sigma ^{2}=1}
的正态分布[ 5] (见右图中红色曲线)。
正态分布是自然科学 与行为科学 中的定量现象的一个方便模型。各种各样的心理学 测试分数和物理 现象比如光子 计数都被发现近似地服从正态分布。尽管这些现象的根本原因经常是未知的,理论上可以证明如果把许多小作用加起来看做一个变量,那么这个变量服从正态分布(在R.N.Bracewell的Fourier transform and its application中可以找到一种简单的证明)。正态分布出现在许多区域统计 :例如,采样分布 均值 是近似地正态的,即使被采样的样本的原始群体分布并不服从正态分布。另外,正态分布信息熵 在所有的已知均值及方差的分布中最大,这使得它作为一种均值 以及方差 已知的分布的自然选择。正态分布是在统计以及许多统计测试中最广泛应用的一类分布。在概率论 ,正态分布是几种连续以及离散分布的极限 分布。
正态分布最早是棣莫弗 在1718年著作的书籍的(Doctrine of Change ),及1734年发表的一篇关于二项分布 文章中提出的,当二项随机变量的位置参数n很大及形状参数p为1/2时,则所推导出二项分布的近似分布函数就是正态分布。拉普拉斯 在1812年发表的《分析概率论》(Theorie Analytique des Probabilites )中对棣莫佛的结论作了扩展到二项分布的位置参数为n及形状参数为1>p>0时。现在这一结论通常被称为棣莫佛-拉普拉斯定理 。
拉普拉斯在误差 分析试验中使用了正态分布。勒让德 于1805年引入最小二乘法 这一重要方法;而高斯 则宣称他早在1794年就使用了该方法,并通过假设误差服从正态分布给出了严格的证明。
将正态分布称作“钟形曲线”的习惯可以追溯到Jouffret 他在1872年首次提出这个术语(Bell curve)用来指代二元正态分布 。正态分布这个名字还被查尔斯·皮尔士 、法兰西斯·高尔顿 、威尔赫姆·莱克希斯 在1875分别独立地使用。这个术语是不幸的,因为它反映和鼓励了一种谬误,即很多概率分布都是正态的。(请参考下面的“实例”)
这个分布被称为“正态”或者“高斯”正好是史蒂格勒名字由来法则 的一个例子,这个法则说“没有科学发现是以它最初的发现者命名的”。
有几种不同的方法用来说明一个随机变量。最直观的方法是概率密度函数 ,这种方法能够表示随机变量每个取值有多大的可能性。累积分布函数 是一种概率上更加清楚的方法,请看下边的例子。还有一些其他的等价方法,例如cumulant、特征函数 、矩生成函数 以及cumulant-生成函数 。这些方法中有一些对于理论工作非常有用,但是不够直观。请参考关于概率分布 的讨论。
矩生成函数 ,或称矩母函数被定义为
exp
(
t
X
)
{\displaystyle \exp(tX)}
的期望。
正态分布的矩产生函数如下:
M
X
(
t
)
{\displaystyle M_{X}(t)\,}
=
E
(
e
t
X
)
{\displaystyle =\mathrm {E} \left(e^{tX}\right)}
=
∫
−
∞
∞
1
σ
2
π
e
(
−
(
x
−
μ
)
2
2
σ
2
)
e
t
x
d
x
{\displaystyle =\int _{-\infty }^{\infty }{\frac {1}{\sigma {\sqrt {2\pi }}}}e^{\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}e^{tx}\,dx}
=
e
(
μ
t
+
σ
2
t
2
2
)
{\displaystyle =e^{\left(\mu t+{\frac {\sigma ^{2}t^{2}}{2}}\right)}}
可以通过在指数函数内配平方得到。
正态分布的一些性质:
如果
X
∼
N
(
μ
,
σ
2
)
{\displaystyle X\sim N(\mu ,\sigma ^{2})\,}
且
a
{\displaystyle a}
与
b
{\displaystyle b}
是实数 ,那么
a
X
+
b
∼
N
(
a
μ
+
b
,
(
a
σ
)
2
)
{\displaystyle aX+b\sim N(a\mu +b,(a\sigma )^{2})}
(参见期望 和方差 ).
如果
X
∼
N
(
μ
X
,
σ
X
2
)
{\displaystyle X\sim N(\mu _{X},\sigma _{X}^{2})}
与
Y
∼
N
(
μ
Y
,
σ
Y
2
)
{\displaystyle Y\sim N(\mu _{Y},\sigma _{Y}^{2})}
是统计独立 的正态随机变量 ,那么:
它们的和也满足正态分布
U
=
X
+
Y
∼
N
(
μ
X
+
μ
Y
,
σ
X
2
+
σ
Y
2
)
{\displaystyle U=X+Y\sim N(\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})}
(proof ).
它们的差也满足正态分布
V
=
X
−
Y
∼
N
(
μ
X
−
μ
Y
,
σ
X
2
+
σ
Y
2
)
{\displaystyle V=X-Y\sim N(\mu _{X}-\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})}
.
U
{\displaystyle U}
与
V
{\displaystyle V}
两者是相互独立的。(要求X与Y的方差相等)
如果
X
∼
N
(
0
,
σ
X
2
)
{\displaystyle X\sim N(0,\sigma _{X}^{2})}
和
Y
∼
N
(
0
,
σ
Y
2
)
{\displaystyle Y\sim N(0,\sigma _{Y}^{2})}
是独立正态随机变量,那么:
它们的积
X
Y
{\displaystyle XY}
服从概率密度函数为
p
{\displaystyle p}
的分布
p
(
z
)
=
1
π
σ
X
σ
Y
K
0
(
|
z
|
σ
X
σ
Y
)
,
{\displaystyle p(z)={\frac {1}{\pi \,\sigma _{X}\,\sigma _{Y}}}\;K_{0}\left({\frac {|z|}{\sigma _{X}\,\sigma _{Y}}}\right),}
其中
K
0
{\displaystyle K_{0}}
是修正贝塞尔函数(modified Bessel function)
它们的比符合柯西分布 ,满足
X
/
Y
∼
C
a
u
c
h
y
(
0
,
σ
X
/
σ
Y
)
{\displaystyle X/Y\sim \mathrm {Cauchy} (0,\sigma _{X}/\sigma _{Y})}
.
如果
X
1
,
⋯
,
X
n
{\displaystyle X_{1},\cdots ,X_{n}}
为独立标准正态随机变量,那么
X
1
2
+
⋯
+
X
n
2
{\displaystyle X_{1}^{2}+\cdots +X_{n}^{2}}
服从自由度为n 的卡方分布 。
一些正态分布的一阶矩如下:
标准正态的所有二阶以上的累积量 为零。
深蓝色区域是距平均值小于一个标准差之内的数值范围。在正态分布 中,此范围所占比率为全部数值之68% ,根据正态分布,两个标准差之内的比率合起来为95% ;三个标准差之内的比率合起来为99% 。
在实际应用上,常考虑一组数据具有近似于正态分布 的概率分布。若其假设正确,则约68.3% 数值分布在距离平均值有1个标准差之内的范围,约95.4% 数值分布在距离平均值有2个标准差之内的范围,以及约99.7% 数值分布在距离平均值有3个标准差之内的范围。称为“68-95-99.7法则 ”或“经验法则 ”。
More information 数字比率 标准差值, 概率 ...
数字比率 标准差值
概率
包含之外比例
百分比
百分比
比例
6999318639000000000♠ 0.318639 σ
25%
75%
3 / 4
6999674490000000000♠ 0.674490 σ
7001500000000000000♠ 50 %
7001500000000000000♠ 50 %
1 / 7000200000000000000♠ 2
6999994458000000000♠ 0.994458 σ
68%
32%
1 / 3.125
1σ
7001682689492000000♠ 68.2689492 %
7001317310508000000♠ 31.7310508 %
1 / 7000315148720000000♠ 3.1514872
7000128155200000000♠ 1.281552 σ
80%
20%
1 / 5
7000164485400000000♠ 1.644854 σ
90%
10%
1 / 10
7000195996400000000♠ 1.959964 σ
95%
5%
1 / 20
2σ
7001954499736000000♠ 95.4499736 %
7000455002640000000♠ 4.5500264 %
1 / 7001219778950000000♠ 21.977895
7000257582900000000♠ 2.575829 σ
99%
1%
1 / 100
3σ
7001997300204000000♠ 99.7300204 %
6999269979600000000♠ 0.2699796 %
1 / 370.398
7000329052700000000♠ 3.290527 σ
99.9%
0.1%
1 / 7003100000000000000♠ 1000
7000389059200000000♠ 3.890592 σ
99.99%
0.01%
1 / 7004100000000000000♠ 10000
4σ
7001999936660000000♠ 99.993666 %
6997633400000000000♠ 0.006334 %
1 / 7004157870000000000♠ 15787
7000441717300000000♠ 4.417173 σ
99.999%
0.001%
1 / 7005100000000000000♠ 100000
7000450000000000000♠ 4.5σ
99.999320 465 3751%
0.000679 534 6249%
1 / 7005147159535800000♠ 147159 .5358 3.4 / 7006100000000000000♠ 1000 000 (每一边 )
7000489163800000000♠ 4.891638 σ
7001999999000000000♠ 99.9999 %
6996100000000000000♠ 0.0001 %
1 / 7006100000000000000♠ 1000 000
5σ
7001999999426697000♠ 99.999942 6697 %
6995573303000000000♠ 0.000057 3303 %
1 / 7006174427800000000♠ 1744 278
7000532672399999999♠ 5.326724 σ
7001999999900000000♠ 99.99999 %
6995100000000000000♠ 0.00001 %
1 / 7007100000000000000♠ 10000 000
7000573072900000000♠ 5.730729 σ
7001999999990000000♠ 99.999999 %
6994100000000000000♠ 0.000001 %
1 / 7008100000000000000♠ 100000 000
7000600000000000000♠ 6σ
7001999999998027000♠ 99.999999 8027 %
6993197300000000000♠ 0.000000 1973 %
1 / 7008506797346000000♠ 506797 346
7000610941000000000♠ 6.109410 σ
7001999999999000000♠ 99.9999999 %
6993100000000000000♠ 0.0000001 %
1 / 7009100000000000000♠ 1000 000 000
7000646695100000000♠ 6.466951 σ
7001999999999900000♠ 99.999999 99 %
6992100000000000000♠ 0.000000 01 %
1 / 7010100000000000000♠ 10000 000 000
7000680650200000000♠ 6.806502 σ
7001999999999990000♠ 99.999999 999 %
6991100000000000000♠ 0.000000 001 %
1 / 7011100000000000000♠ 100000 000 000
7σ
99.999999 999 7440%
6990256000000000000♠ 0.000000 000 256 %
1 / 7011390682215445000♠ 390682 215 445
Close
R
∼
R
a
y
l
e
i
g
h
(
σ
)
{\displaystyle R\sim \mathrm {Rayleigh} (\sigma )}
是瑞利分布 ,如果
R
=
X
2
+
Y
2
{\displaystyle R={\sqrt {X^{2}+Y^{2}}}}
,这里
X
∼
N
(
0
,
σ
2
)
{\displaystyle X\sim N(0,\sigma ^{2})}
和
Y
∼
N
(
0
,
σ
2
)
{\displaystyle Y\sim N(0,\sigma ^{2})}
是两个独立正态分布。
Y
∼
χ
ν
2
{\displaystyle Y\sim \chi _{\nu }^{2}}
是卡方分布 具有
ν
{\displaystyle \nu }
自由度 ,如果
Y
=
∑
k
=
1
ν
X
k
2
{\displaystyle Y=\sum _{k=1}^{\nu }X_{k}^{2}}
这里
X
k
∼
N
(
0
,
1
)
{\displaystyle X_{k}\sim N(0,1)}
其中
k
=
1
,
…
,
ν
{\displaystyle k=1,\dots ,\nu }
是独立的。
Y
∼
C
a
u
c
h
y
(
μ
=
0
,
θ
=
1
)
{\displaystyle Y\sim \mathrm {Cauchy} (\mu =0,\theta =1)}
是柯西分布 ,如果
Y
=
X
1
/
X
2
{\displaystyle Y=X_{1}/X_{2}}
,其中
X
1
∼
N
(
0
,
1
)
{\displaystyle X_{1}\sim N(0,1)}
并且
X
2
∼
N
(
0
,
1
)
{\displaystyle X_{2}\sim N(0,1)}
是两个独立的正态分布。
Y
∼
Log-N
(
μ
,
σ
2
)
{\displaystyle Y\sim {\mbox{Log-N}}(\mu ,\sigma ^{2})}
是对数正态分布 如果
Y
=
e
X
{\displaystyle Y=e^{X}}
并且
X
∼
N
(
μ
,
σ
2
)
{\displaystyle X\sim N(\mu ,\sigma ^{2})}
.
与Lévy skew alpha-stable分布 相关:如果
X
∼
Levy-S
α
S
(
2
,
β
,
σ
/
2
,
μ
)
{\displaystyle X\sim {\textrm {Levy-S}}\alpha {\textrm {S}}(2,\beta ,\sigma /{\sqrt {2}},\mu )}
因而
X
∼
N
(
μ
,
σ
2
)
{\displaystyle X\sim N(\mu ,\sigma ^{2})}
.
多元正态分布 的协方差矩阵 的估计的推导是比较难于理解的。它需要了解谱原理 (spectral theorem)以及为什么把一个标量 看做一个1×1矩阵 的迹(trace)而不仅仅是一个标量更合理的原因。请参考协方差矩阵的估计 (estimation of covariance matrices)。
某饮料公司装瓶流程严谨,每罐饮料装填量符合平均600毫升,标准差3毫升的正态分配法则。随机选取一罐,求(1)容量超过605毫升的概率;(2)容量小于590毫升的概率。
容量超过605毫升的概率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 1 - 0.9525 = 0.0475
容量小于590毫升的概率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004
6-标准差 (6-sigma或6-σ)的品质管制标准
6-标准差(6-sigma或6-σ),是制造业流行的品质管制标准。在这个标准之下,一个标准正态分配的变量值出现在正负三个标准差之外,只有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是说,这种品质管制标准的产品不良率只有万分之二十六。假设例中的饮料公司装瓶流程采用这个标准,而每罐饮料装填量符合平均600毫升,标准差3毫升的正态分配。那么预期装填容量的范围应该多少?
6-标准差的范围 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609)
因此,预期装填容量应该介于591至609毫升之间。
假设某校入学新生的智力测验平均分数与标准差分别为100与12。那么随机抽取50个学生,他们智力测验平均分数大于105的概率?小于90的概率?
本例没有正态分配的假设,还好中心极限定理提供一个可行解,那就是当随机样本长度超过30,样本平均数
x
¯
{\displaystyle {\bar {x}}}
近似于一个正态变量,
因此标准正态变量
Z
=
X
¯
−
μ
σ
/
n
{\displaystyle Z={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}}
。
平均分数大于105的概率
P
(
Z
>
105
−
100
12
/
50
)
=
P
(
Z
>
5
/
1.7
)
=
P
(
Z
>
2.94
)
=
0.0016
{\displaystyle P(Z>{\frac {105-100}{12/{\sqrt {50}}}})=P(Z>5/1.7)=P(Z>2.94)=0.0016}
平均分数小于90的概率
P
(
Z
<
90
−
100
12
/
50
)
=
P
(
Z
<
−
5.88
)
=
0.0000
{\displaystyle P(Z<{\frac {90-100}{12/{\sqrt {50}}}})=P(Z<-5.88)=0.0000}
在计算机模拟中,经常需要生成正态分布的数值。最基本的一个方法是使用标准的正态累积分布函数的反函数。除此之外还有其他更加高效的方法,Box-Muller变换就是其中之一。另一个更加快捷的方法是ziggurat算法。下面将介绍这两种方法。一个简单可行的并且容易编程的方法是:求12个在(0,1)上均匀分布的和,然后减6(12的一半)。这种方法可以用在很多应用中。这12个数的和是Irwin-Hall分布;选择一个方差12。这个随即推导的结果限制在(-6,6)之间,并且密度为12,是用11次多项式估计正态分布。
Box-Muller方法是以两组独立的随机数U和V,这两组数在(0,1]上均匀分布,用U和V生成两组独立的标准正态分布随机变量X和Y:
X
=
−
2
ln
U
cos
(
2
π
V
)
,
{\displaystyle X={\sqrt {-2\ln U}}\,\cos(2\pi V),}
Y
=
−
2
ln
U
sin
(
2
π
V
)
{\displaystyle Y={\sqrt {-2\ln U}}\,\sin(2\pi V)}
。
这个方程的提出是因为二自由度的卡方分布 (见性质4)很容易由指数随机变量(方程中的lnU)生成。因而通过随机变量V可以选择一个均匀环绕圆圈的角度,用指数分布选择半径然后变换成(正态分布的)x,y坐标。
物理学名词审定委员会.物理学名词 [S/OL].全国科学技术名词审定委员会,公布. 3版.北京:科学出版社, 2019: 12. 科学文库 (页面存档备份 ,存于互联网档案馆 ).
Shaou-Gang Miaou; Jin-Syan Chou. 《Fundamentals of probability and statistics》. 高立图书. 2012: 第147页. ISBN 9789864128990 .
John Aldrich. Earliest Uses of Symbols in Probability and Statistics .网上材料,2006年6月3日存在.(See "Symbols associated with the Normal Distribution". )
Abraham de Moivre (1738年). The Doctrine of Chances .
Stephen Jay Gould (1981年). The Mismeasure of Man . First edition. W. W. Norton. ISBN 978-0-393-01489-1 .
R. J. Herrnstein and Charles Murray (1994年). The Bell Curve : Intelligence and Class Structure in American Life . Free Press . ISBN 978-0-02-914673-6 .
Pierre-Simon Laplace (1812年). Analytical Theory of Probabilities .
Jeff Miller, John Aldrich, et al. Earliest Known Uses of Some of the Words of Mathematics . In particular, the entries for "bell-shaped and bell curve" , "normal" (distribution) , "Gaussian" , and "Error, law of error, theory of errors, etc." .网上材料,2006年6月3日存在
S. M. Stigler (1999年). Statistics on the Table , chapter 22. Harvard University Press. (History of the term "normal distribution". )
Eric W. Weisstein et al. Normal Distribution (页面存档备份 ,存于互联网档案馆 ) at MathWorld .网上材料,2006年6月3日存在。
Marvin Zelen and Norman C. Severo (1964年). Probability Functions. Chapter 26 of Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables , ed, by Milton Abramowitz and Irene A. Stegun . National Bureau of Standards .