贝叶斯定理

贝叶斯定理（英语：Bayes' theorem）是概率论中的一个定理，描述在已知一些条件下，某事件的发生机率。比如，如果已知某种健康问题与寿命有关，使用贝叶斯定理则可以通过得知某人年龄，来更加准确地计算出某人有某种健康问题的机率。

通常，事件A在事件B已发生的条件下发生的机率，与事件B在事件A已发生的条件下发生的机率是不一样的。然而，这两者是有确定的关系的，贝叶斯定理就是这种关系的陈述。贝叶斯公式的一个用途，即透过已知的三个机率而推出第四个机率。贝叶斯定理跟随机变量的条件机率以及边际机率分布有关。

作为一个普遍的原理，贝叶斯定理对于所有机率的解释是有效的。这一定理的主要应用为贝叶斯推断，是推论统计学中的一种推断法。这一定理名称来自于托马斯·贝叶斯。

陈述

贝叶斯定理的二维可视化图像，图中阐释了事件A、事件B以及他们之间的关系。

贝叶斯定理是关于随机事件A和B的条件概率的一则定理。

${\displaystyle P(A\mid B)={\frac {P(A)P(B\mid A)}{P(B)}}}$

其中${\displaystyle A}$以及${\displaystyle B}$为随机事件，且${\displaystyle P(B)}$不为零。${\displaystyle P(A\mid B)}$是指在事件${\displaystyle B}$发生的情况下事件${\displaystyle A}$发生的概率。

在贝叶斯定理中，每个名词都有约定俗成的名称：

• ${\displaystyle P(A\mid B)}$是已知${\displaystyle B}$发生后，${\displaystyle A}$的条件概率。也称作${\displaystyle A}$的事后概率。
• ${\displaystyle P(A)}$是${\displaystyle A}$的先验概率（或边缘概率）。其不考虑任何${\displaystyle B}$方面的因素。
• ${\displaystyle P(B\mid A)}$是已知${\displaystyle A}$发生后，${\displaystyle B}$的条件概率。也可称为${\displaystyle B}$的事后机率。某些文献又称其为在特定${\displaystyle B}$时，${\displaystyle A}$的似然性，因为${\displaystyle P(B\mid A)=L(A\mid B)}$。
• ${\displaystyle P(B)}$是${\displaystyle B}$的先验概率。

按这些术语，贝叶斯定理可表述为：

后验概率 = (似然性*先验概率)/标准化常量

也就是说，后验概率与先验概率和相似度的乘积成正比。

另外，比例${\displaystyle P(B|A)/P(B)}$也有时被称作标准似然度（standardised likelihood），贝叶斯定理可表述为：

后验概率 = 标准似然度*先验概率

由贝叶斯公式${\displaystyle P(\theta |X)={\frac {P(\theta )P(X|\theta )}{P(X)}}\propto P(\theta )P(X|\theta )}$可以看出，这里面的 ${\displaystyle \theta }$ 是一个随机变量（因为 ${\displaystyle \theta }$ 有概率 ${\displaystyle P(\theta )}$ ）。因为${\displaystyle P(\theta |X)\propto P(\theta )P(X|\theta )}$ ，所以这也是贝叶斯估计和极大似然估计的区别所在，极大似然估计中要估计的参数是个一般变量，而贝叶斯估计中要估计的参数是个随机变量。

从条件概率推导贝氏定理

根据条件概率的定义。在事件${\displaystyle B}$发生的条件下事件${\displaystyle A}$发生的概率是^[1]：

${\displaystyle P(A|B)={\frac {P(A\cap B)}{P(B)}}}$

其中 ${\displaystyle A}$与${\displaystyle B}$的联合概率表示为${\displaystyle P(A\cap B)}$或者${\displaystyle P(A,B)}$或者${\displaystyle P(AB)}$。

同样地，在事件${\displaystyle A}$发生的条件下事件${\displaystyle B}$发生的概率

${\displaystyle P(B|A)={\frac {P(A\cap B)}{P(A)}}\!}$

整理与合并这两个方程式，我们可以得到

${\displaystyle P(A|B)\,P(B)=P(A\cap B)=P(B|A)\,P(A)\!}$

这个引理有时称作概率乘法规则。上式两边同除以${\displaystyle P(B)}$，若${\displaystyle P(B)}$是非零的，我们可以得到贝叶斯定理:

${\displaystyle P(A|B)={\frac {P(B|A)\,P(A)}{P(B)}}\!}$

二中择一的形式

贝氏定理通常可以再写成下面的形式：

${\displaystyle P(B)=P(A\cap B)+P(A^{C}\cap B)=P(B|A)P(A)+P(B|A^{C})P(A^{C})}$，

其中A^C是A的补集（即非A）。故上式亦可写成：

${\displaystyle P(A|B)={\frac {P(B|A)\,P(A)}{P(B|A)P(A)+P(B|A^{C})P(A^{C})}}\!}$

在更一般化的情况，假设{A_i}是事件集合里的部份集合，对于任意的A_i，贝氏定理可用下式表示：

${\displaystyle P(A_{i}|B)={\frac {P(B|A_{i})\,P(A_{i})}{\sum _{j}P(B|A_{j})\,P(A_{j})}}\!}$

以可能性与相似率表示贝氏定理

参见：全概率公式

贝氏定理亦可由相似率Λ和可能性O表示：

${\displaystyle O(A|B)=O(A)\cdot \Lambda (A|B)}$

其中

${\displaystyle O(A|B)={\frac {P(A|B)}{P(A^{C}|B)}}\!}$

定义为B发生时，A发生的可能性（odds）；

${\displaystyle O(A)={\frac {P(A)}{P(A^{C})}}\!}$

则是A发生的可能性。相似率（Likelihood ratio）则定义为：

${\displaystyle \Lambda (A|B)={\frac {L(A|B)}{L(A^{C}|B)}}={\frac {P(B|A)}{P(B|A^{C})}}\!}$

贝氏定理与概率密度

贝氏定理亦可用于连续机率分布。由于概率密度函数严格上并非机率，由机率密度函数导出贝氏定理观念上较为困难（详细推导参阅^[2]）。贝氏定理与机率密度的关系是由求极限的方式建立：

${\displaystyle f(x|y)={\frac {f(x,y)}{f(y)}}={\frac {f(y|x)\,f(x)}{f(y)}}\!}$

全机率定理则有类似的论述：

${\displaystyle f(x|y)={\frac {f(y|x)\,f(x)}{\int _{-\infty }^{\infty }f(y|x)\,f(x)\,dx}}.\!}$

如同离散的情况，公式中的每项均有名称。 f(x, y)是X和Y的联合分布； f（x|y）是给定Y=y后，X的事后分布； f（y|x）= L（x|y）是Y=y后，X的相似度函数（为x的函数)； f（x）和f（y）则是X和Y的边际分布； f（x）则是X的事前分布。 为了方便起见，这里的f在这些专有名词中代表不同的函数（可以由引数的不同判断之）。

贝氏定理的推广

对于变数有二个以上的情况，贝氏定理亦成立。例如：

${\displaystyle P(A|B,C)={\frac {P(A)\,P(B|A)\,P(C|A,B)}{P(B)\,P(C|B)}}\!}$

这个式子可以由套用多次二个变数的贝氏定理及条件机率的定义导出：

${\displaystyle P(A|B,C)={\frac {P(A,B,C)}{P(B,C)}}={\frac {P(A,B,C)}{P(B)\,P(C|B)}}}$

${\displaystyle ={\frac {P(C|A,B)\,P(A,B)}{P(B)\,P(C|B)}}={\frac {P(A)\,P(B|A)\,P(C|A,B)}{P(B)\,P(C|B)}}}$

一般化的方法则是利用联合机率去分解待求的条件机率，并对不加以探讨的变数积分（意即对欲探讨的变数计算边缘机率）。取决于不同的分解形式，可以证明某些积分必为1，因此分解形式可被简化。利用这个性质，贝氏定理的计算量可能可以大幅下降。贝氏网路为此方法的一个例子，贝氏网路指定数个变数的联合机率分布的分解型式，该机率分布满足下述条件：当其他变数的条件机率给定时，该变数的条件机率为一简单型式。

范例

吸毒者检测

下面展示贝叶斯定理在检测吸毒者时的应用。假设一个常规的检测结果的灵敏度和特异度均为99%，即吸毒者每次检测呈阳性（+）的概率为99%。而不吸毒者每次检测呈阴性（-）的概率为99%。从检测结果的概率来看，检测结果是比较准确的，但是贝叶斯定理却可以揭示一个潜在的问题。假设某公司对全体雇员进行吸毒检测，已知0.5%的雇员吸毒。请问每位检测结果呈阳性的雇员吸毒的概率有多高？

令“D”为雇员吸毒事件，“N”为雇员不吸毒事件，“+”为检测呈阳性事件。可得

• P(D)代表雇员吸毒的概率，不考虑其他情况，该值为0.005。因为公司的预先统计表明该公司的雇员中有0.5%的人吸食毒品，所以这个值就是D的先验概率。
• P(N)代表雇员不吸毒的概率，显然，该值为0.995，也就是1-P(D)。
• P(+|D)代表吸毒者被验出为阳性的概率，这是一个条件概率，由于阳性检测准确性是99%，因此该值为0.99。
• P(+|N)代表不吸毒者被验出为阳性的概率，也就是出错检测的概率，该值为0.01。因为对于不吸毒者，其检测为阴性的概率为99%，因此，其被误检测成阳性的概率为1 - 0.99 = 0.01。
• P(+)代表不考虑其他因素的影响的阳性检出率，白话来说，即该公司有多少比例的检测结果为阳性。该值为0.0149或者1.49%。我们可以通过全概率公式计算得到：此概率 = 身为吸毒者的概率 x 吸毒被验出阳性的概率（0.5% x 99% = 0.495%) + 身为不吸毒者的概率 x 不吸毒却被验出阳性的概率（99.5% x 1% = 0.995%)。P(+)=0.0149是检测呈阳性的先验概率。用数学公式描述为：

${\displaystyle P(+)=P(+\cap D)+P(+\cap N)=P(+|D)P(D)+P(+|N)P(N)}$

根据上述描述，我们可以计算某人检测呈阳性时确实吸毒的条件概率P(D|+)：

${\displaystyle {\begin{aligned}P(D|+)&={\frac {P(+|D)P(D)}{P(+)}}\\&={\frac {P(+|D)P(D)}{P(+|D)P(D)+P(+|N)P(N)}}\\&={\frac {0.99\times 0.005}{0.99\times 0.005+0.01\times 0.995}}\\&=0.3322.\end{aligned}}}$

尽管吸毒检测的准确率高达99%，但贝叶斯定理告诉我们：如果某人检测呈阳性，其吸毒的概率只有大约33%，不吸毒的可能性比较大。假阳性高，则检测的结果不可靠。这是因为该公司不吸毒的人数远远大于吸毒人数，所以即使不吸毒者被误检为阳性的概率仅为1%，其实际被误检人数还是很庞大。举例来说，若该公司总共有1000人（其中5人吸毒，995人不吸），不吸毒的人被检测出阳性的人数有大约10人（1% x 995），而吸毒被验出阳性的人数有5人（99% x 5），总共15人被验出阳性（10 + 5）。在这15人里面，只有约33%的人是真正有吸毒。所以贝氏定理可以揭露出此检测在这个案例中的不可靠。

同时，也因为不可靠的主因是不吸毒却被误检阳性的人数远多于吸毒被检测出来的人数（上述例子中10人 > 5 人），所以即使阳性检测灵敏度能到100%（即只要吸毒一定验出阳性），检测结果阳性的员工，真正吸毒的概率${\displaystyle P(D|+)}$也只会提高到约33.4%。但如果灵敏度仍然是99%，而特异度却提高到99.5%（即不吸毒的人中，约0.5%会被误检为阳性），则检测结果阳性的员工，真正吸毒的概率可以提高到49.9%。

胰腺癌检测

基于贝叶斯定理：即使100%的胰腺癌症患者都有某症状，而某人有同样的症状，绝对不代表该人有100%的概率得胰腺癌，还需要考虑先验概率，假设胰腺癌的发病率是十万分之一，而全球有同样症状的人有万分之一，则此人得胰腺癌的概率只有十分之一，90%的可能是是假阳性。

不良种子检测

基于贝叶斯定理：假设100%的不良种子都表现A性状，而种子表现A性状，并不代表此种子100%是不良种子，还需要考虑先验概率，假设一共有6万颗不良种子，在种子中的比例是十万分之一（假设总共有60亿颗种子），假设所有种子中有1/3表现A性状（即20亿颗种子表现A性状），则此种子为不良种子的概率只有十万分之三。

参见

• 概率论
• 贝叶斯概率
• 贝叶斯推理
• 阳性和阴性预测值（英语：Positive and negative predictive values）

参考文献

1. Kenneth H. Rosen. Discrete Mathematics and its Applications 7th edition. 2012: 456. ISBN 978-0-07-338309-5 （英语）. 引文格式1维护：冗余文本 (link)
2. Papoulis A.(1984). Probability, Random Variables, and Stochastic Processes, 2nd edition. Section 7.3. New York: McGraw-Hill.

外部链接

• 数学之美番外篇：平凡而又神奇的贝叶斯方法（页面存档备份，存于互联网档案馆）