独立 (概率论)

在概率论里，说两个事件是独立的，直觉上是指一次实验中一事件的发生不会影响到另一事件发生的概率。例如，在一般情况下可以认为连续两次掷骰子得到的点数结果是相互独立的。类似地，两个随机变量是独立的，若其在一事件给定观测量的条件概率分布和另一事件没有被观测的概率分布是一样的。

对于两个以上的事件，需要区分两种独立的概念。如果集合中的任意两个事件相互独立，则这些事件称为两两独立（Pairwise independent），而事件相互独立（Mutually independent）指每个事件独立于集合中其他事件的任何交集。在概率论、统计学和随机过程的标准文献中，没有限定词的独立通常指相互独立。

独立事件

对于两个事件

两个事件A和B是独立的 当且仅当 ${\displaystyle \mathrm {Pr} (A\cap B)=\mathrm {Pr} (A)\mathrm {Pr} (B)}$。

这里，A ∩ B是A和B的交集，即为A和B两个事件都会发生的事件。

对于任意个事件

若有限个事件构成的集合${\displaystyle \{A_{i}\}_{i=1}^{n}}$中每对事件都是独立的，则这些事件是两两独立(pairwise independent)的。^[1]

即当且仅当对任意的${\displaystyle i,j\in \{1,...,n\},i\neq j}$，有

${\displaystyle \mathrm {Pr} (A_{i}\cap A_{j})=\mathrm {Pr} (A_{i})\mathrm {Pr} (A_{j})}$

若有限个事件构成的集合${\displaystyle \{A_{i}\}_{i=1}^{n}}$中每个事件都与任何其他事件构成的交集独立，则这些事件是相互独立(mutually independent) 的。

即当且仅当对其任一有限子集A₁, ..., A_n，会有

${\displaystyle \Pr(A_{1}\cap \cdots \cap A_{n})=\Pr(A_{1})\,\cdots \,\Pr(A_{n})}$。

或写作：${\displaystyle \Pr \left(\bigcap _{i=1}^{n}A_{i}\right)=\prod _{i=1}^{n}\Pr(A_{i}).\!\,}$

这被称为独立事件的乘法规则。

独立事件的性质

若两个事件A和B是独立的，则其B给之A的条件概率和A的“无条件概率”一样，即

${\displaystyle \Pr(A\mid B)=\Pr(A)\,}$。

至少有两个理由可以解释为何此一叙述不可以当做独立性的定义：(1)A和B两个事件在此叙述中并不对称，及(2)当概率为0亦可包含于此叙述时，会有问题产生。

若回想条件概率Pr(A | B)的定义为

${\displaystyle \Pr(A\mid B)={\Pr(A\cap B) \over \Pr(B)},}$ (只要Pr(B) ≠ 0 )

则上面的叙述则会等价于

${\displaystyle \Pr(A\cap B)=\Pr(A)\Pr(B)}$

即为上面所给定的标准定义。

注意独立性并不和它在地方话里的有相同的意思。例如，一事件独立于其自身当且仅当：

${\displaystyle \Pr(A)=\Pr(A\cap A)=\Pr(A)\Pr(A)\,}$

亦即，其概率不是零就是一。因此，当一事件或其补集几乎确定会发生，它即是独立于其本身。例如，若事件A从单位区间的连续型均匀分布上选了0.5，则A是独立于其自身的，尽管重言式地，A完全决定了A。

独立随机变量

上面所定义的是事件的独立性。在这一节中，我们将处理随机变量的独立性。若X是一实数值随机变量且a是一数字的话，则X ≤ a的事件是一个事件，所以可以有意义地说它是否会独立于其他的事件。

两个随机变量X和Y是独立的当且仅当对任何数字a和b，事件[X ≤ a](X小于或等于a的事件)和[Y ≤ b]为如上面所定义的独立事件。类似地，随意数量的随机变量是明确地独立的，若对任一有限子集X₁, ..., X_n和任一数字的有限子集a₁, ..., a_n，其事件[X₁ ≤ a₁], ..., [X_n ≤ a_n]会是如上面所定义的独立事件。

其量测可以由事件[X ∈ A]来取代上面所定义的事件[X ≤ a]，其中A为任一包络集合。此一定义完全和上述其随机变量的值为实数的定义等价。且他有着可以作用于复值随机变量和在任一拓扑空间中取值之随机变量上的优点。

即使任意数目中的任二个随机变量都是独立的，但它们可能仍旧会无法互相独立；这种的独立被称为两两独立。

若X和Y是独立的，则其期望E会有下列的好性质： E[X Y] = E[X] E[Y], （假定都存在）且其方差（若存在）满足

var(X + Y) = var(X) + var(Y),

因为其协方差 cov(X,Y) 为零。(其逆命题不成立，即若两个随机变量的协方差为0，它们不一定独立。)

此外，具有分布函数F_X(x) 及 F_Y(y)和概率密度f_X(x) 及 f_Y(y)的随机变量X和Y为独立的，当且仅当其相结合的随机变量(X,Y)有一共同分布

${\displaystyle F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y),}$

或等价地，有一共同密度

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)}$。

类似的表示式亦可以用来两个以上的随机变量上。

条件独立随机变量

主条目：条件独立

直觉地，两个随机变量X和Y给定Z条件独立，如果：一旦知道了Z，从Y的值便不能得出任何关于X的信息。例如，相同的数量Z的两个测量X和Y不是独立的，但它们是给定Z条件独立（除非两个测量的误差是有关联的）。

条件独立的正式定义是基于条件分布的想法。如果X、Y和Z是离散型随机变量，那么我们定义X和Y给定Z条件独立，如果对于所有使${\displaystyle \mathrm {Pr} (Z\leq z)>0}$的x、y和z，都有：

${\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {Pr} (X\leq x\;|\;Z=z)\cdot \mathrm {Pr} (Y\leq y\;|\;Z=z)}$

另一方面，如果随机变量是连续的，且具有联合概率密度p，那么X和Y给定Z条件独立，如果对于所有使${\displaystyle p_{Z}(z)>0}$的实数x、y和z，都有：

${\displaystyle p_{XY|Z}(x,y|z)=p_{X|Z}(x|z)\cdot p_{Y|Z}(y|z)}$

如果X和Y给定Z条件独立，那么对于任何满足${\displaystyle \mathrm {Pr} (Z=z)>0}$的x、y和z，都有：

${\displaystyle \ \mathrm {Pr} (X=x|Y=y,Z=z)=\mathrm {Pr} (X=x|Z=z)}$

也就是说，X给定Y和Z的条件分布，与仅仅给定Z的条件分布是相同的。对于连续的情况下的条件概率密度函数，也有一个类似的公式。

独立性可以视为条件独立的一个特例，因为概率可以视为不给定任何事件的条件概率。

另见

• 耦合
• 独立且同态随机变量

书籍

• Kirby Faciane (2006). Statistics for Empirical and Quantitative Finance. H.C. Baird: Philadelphia. ISBN 0-9788208-9-4.

参考资料

1. Feller, W. Stochastic Independence. An Introduction to Probability Theory and Its Applications. Wiley. 1971.