在概率论 和统计学 中,两事件R 和B 在给定的另一事件Y 发生时条件独立 ,类似于统计独立性 ,就是指当事件Y 发生时,R 发生与否和B 发生与否就条件概率分布 而言是独立 的。换句话讲,R 和B 在给定Y 发生时条件独立,当且仅当已知Y 发生时,知道R 发生与否无助于知道B 发生与否,同样知道B 发生与否也无助于知道R 发生与否。
两个说明条件独立的例子。每个小方格都表示一种等概率的可能结果。事件R 、B 、Y 分别用红色、蓝色、黄色阴影部分表示。事件R 和B 的重叠部分用紫色表示。这些事件发生的概率等于相应阴影部分面积和图形总面积的比值。在这两个例子中,事件R 和B 在给定Y 时都是条件独立的,这是因为
Pr
(
R
∩
B
∣
Y
)
=
Pr
(
R
∣
Y
)
Pr
(
B
∣
Y
)
{\displaystyle \Pr(R\cap B\mid Y)=\Pr(R\mid Y)\Pr(B\mid Y)\,}
[ 注 1] 但给定Y 不发生时,它们不是条件独立的,这是因为 :
Pr
(
R
∩
B
∣
Y
¯
)
≠
Pr
(
R
∣
Y
¯
)
Pr
(
B
∣
Y
¯
)
.
{\displaystyle \Pr(R\cap B\mid {\bar {Y}})\not =\Pr(R\mid {\bar {Y}})\Pr(B\mid {\bar {Y}}).\,}
R 和B 在给定Y 发生时条件独立,用概率论的标准记号表示为
Pr
(
R
∩
B
∣
Y
)
=
Pr
(
R
∣
Y
)
Pr
(
B
∣
Y
)
{\displaystyle \Pr(R\cap B\mid Y)=\Pr(R\mid Y)\Pr(B\mid Y)\,}
也可以等价地表示为
Pr
(
R
∣
B
∩
Y
)
=
Pr
(
R
∣
Y
)
.
{\displaystyle \Pr(R\mid B\cap Y)=\Pr(R\mid Y).\,}
因为当事件Y 发生时,R 发生与否和B 发生与否就条件概率分布 而言是独立 的。
两个随机变量 X 和Y 在给定第三个随机变量Z 的情况下条件独立当且仅当它们在给定Z 时的条件概率分布互相独立,也就是说,给定Z 的任一值,X 的概率分布和Y 的值无关,Y 的概率分布也和X 的值无关。
从基本定义可导出一套描述条件独立的重要法则。[ 1] [ 2]
因这些推论在任何概率空间中都成立,因此也对所有变量关于另一变量的条件概率分布成立,只需考虑相应子空间即可。譬如说
X
⊥
⊥
Y
⇒
Y
⊥
⊥
X
{\displaystyle X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X}
也就意味着
X
⊥
⊥
Y
∣
K
⇒
Y
⊥
⊥
X
∣
K
{\displaystyle X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K}
。
注:位于算式下方的逗号 意为“和”。
X
⊥
⊥
Y
⇒
Y
⊥
⊥
X
{\displaystyle X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X}
X
⊥
⊥
A
,
B
⇒
and
{
X
⊥
⊥
A
X
⊥
⊥
B
{\displaystyle X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}}
证明:
p
X
,
A
,
B
(
x
,
a
,
b
)
=
p
X
(
x
)
p
A
,
B
(
a
,
b
)
{\displaystyle p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)}
(
X
⊥
⊥
A
,
B
{\displaystyle X\perp \!\!\!\perp A,B}
的定义)
∫
B
p
X
,
A
,
B
(
x
,
a
,
b
)
=
∫
B
p
X
(
x
)
p
A
,
B
(
a
,
b
)
{\displaystyle \int _{B}\!p_{X,A,B}(x,a,b)=\int _{B}\!p_{X}(x)p_{A,B}(a,b)}
(对B 积分以消去B )
p
X
,
A
(
x
,
a
)
=
p
X
(
x
)
p
A
(
a
)
{\displaystyle p_{X,A}(x,a)=p_{X}(x)p_{A}(a)}
同理可证X 和B 条件独立。
这个等式证明如下:Pr(R ∩ B | Y )是R 和B 在Y 中的重合部分(用紫色表示)面积占Y 面积的比值。左图中,有两个R 和B 重合的方格位于Y 内,而Y 有12个方格,所以Pr(R ∩ B | Y ) = 2 / 12 = 1 / 6 。同理,Pr(R | Y ) = 4 / 12 = 1 / 3 ,Pr(B | Y ) = 6 / 12 = 1 / 2 。
Dawid, A. P. Conditional Independence in Statistical Theory. Journal of the Royal Statistical Society, Series B . 1979, 41 (1): 1–31. JSTOR 2984718 . MR 0535541 .
J Pearl, Causality: Models, Reasoning, and Inference, 2000, Cambridge University Press