獨立 (概率論)

在概率論裏，說兩個事件是獨立的，直覺上是指一次實驗中一事件的發生不會影響到另一事件發生的概率。例如，在一般情況下可以認為連續兩次擲骰子得到的點數結果是相互獨立的。類似地，兩個隨機變量是獨立的，若其在一事件給定觀測量的條件概率分佈和另一事件沒有被觀測的概率分佈是一樣的。

對於兩個以上的事件，需要區分兩種獨立的概念。如果集合中的任意兩個事件相互獨立，則這些事件稱為兩兩獨立（Pairwise independent），而事件相互獨立（Mutually independent）指每個事件獨立於集合中其他事件的任何交集。在概率論、統計學和隨機過程的標準文獻中，沒有限定詞的獨立通常指相互獨立。

獨立事件

對於兩個事件

兩個事件A和B是獨立的 當且僅當 ${\displaystyle \mathrm {Pr} (A\cap B)=\mathrm {Pr} (A)\mathrm {Pr} (B)}$。

這裏，A ∩ B是A和B的交集，即為A和B兩個事件都會發生的事件。

對於任意個事件

若有限個事件構成的集合${\displaystyle \{A_{i}\}_{i=1}^{n}}$中每對事件都是獨立的，則這些事件是兩兩獨立(pairwise independent)的。^[1]

即當且僅當對任意的${\displaystyle i,j\in \{1,...,n\},i\neq j}$，有

${\displaystyle \mathrm {Pr} (A_{i}\cap A_{j})=\mathrm {Pr} (A_{i})\mathrm {Pr} (A_{j})}$

若有限個事件構成的集合${\displaystyle \{A_{i}\}_{i=1}^{n}}$中每個事件都與任何其他事件構成的交集獨立，則這些事件是相互獨立(mutually independent) 的。

即當且僅當對其任一有限子集A₁, ..., A_n，會有

${\displaystyle \Pr(A_{1}\cap \cdots \cap A_{n})=\Pr(A_{1})\,\cdots \,\Pr(A_{n})}$。

或寫作：${\displaystyle \Pr \left(\bigcap _{i=1}^{n}A_{i}\right)=\prod _{i=1}^{n}\Pr(A_{i}).\!\,}$

這被稱為獨立事件的乘法規則。

獨立事件的性質

若兩個事件A和B是獨立的，則其B給之A的條件概率和A的「無條件概率」一樣，即

${\displaystyle \Pr(A\mid B)=\Pr(A)\,}$。

至少有兩個理由可以解釋為何此一敘述不可以當做獨立性的定義：(1)A和B兩個事件在此敘述中並不對稱，及(2)當概率為0亦可包含於此敘述時，會有問題產生。

若回想條件概率Pr(A | B)的定義為

${\displaystyle \Pr(A\mid B)={\Pr(A\cap B) \over \Pr(B)},}$ (只要Pr(B) ≠ 0 )

則上面的敘述則會等價於

${\displaystyle \Pr(A\cap B)=\Pr(A)\Pr(B)}$

即為上面所給定的標準定義。

注意獨立性並不和它在地方話裏的有相同的意思。例如，一事件獨立於其自身當且僅當：

${\displaystyle \Pr(A)=\Pr(A\cap A)=\Pr(A)\Pr(A)\,}$

亦即，其概率不是零就是一。因此，當一事件或其補集幾乎確定會發生，它即是獨立於其本身。例如，若事件A從單位區間的連續型均勻分佈上選了0.5，則A是獨立於其自身的，儘管重言式地，A完全決定了A。

獨立隨機變量

上面所定義的是事件的獨立性。在這一節中，我們將處理隨機變量的獨立性。若X是一實數值隨機變量且a是一數字的話，則X ≤ a的事件是一個事件，所以可以有意義地說它是否會獨立於其他的事件。

兩個隨機變量X和Y是獨立的當且僅當對任何數字a和b，事件[X ≤ a](X小於或等於a的事件)和[Y ≤ b]為如上面所定義的獨立事件。類似地，隨意數量的隨機變量是明確地獨立的，若對任一有限子集X₁, ..., X_n和任一數字的有限子集a₁, ..., a_n，其事件[X₁ ≤ a₁], ..., [X_n ≤ a_n]會是如上面所定義的獨立事件。

其量測可以由事件[X ∈ A]來取代上面所定義的事件[X ≤ a]，其中A為任一包絡集合。此一定義完全和上述其隨機變量的值為實數的定義等價。且他有着可以作用於複值隨機變量和在任一拓撲空間中取值之隨機變量上的優點。

即使任意數目中的任二個隨機變量都是獨立的，但它們可能仍舊會無法互相獨立；這種的獨立被稱為兩兩獨立。

若X和Y是獨立的，則其期望值E會有下列的好性質： E[X Y] = E[X] E[Y], （假定都存在）且其方差（若存在）滿足

var(X + Y) = var(X) + var(Y),

因為其協方差 cov(X,Y) 為零。(其逆命題不成立，即若兩個隨機變量的協方差為0，它們不一定獨立。)

此外，具有分佈函數F_X(x) 及 F_Y(y)和概率密度f_X(x) 及 f_Y(y)的隨機變量X和Y為獨立的，當且僅當其相結合的隨機變量(X,Y)有一共同分佈

${\displaystyle F_{X,Y}(x,y)=F_{X}(x)F_{Y}(y),}$

或等價地，有一共同密度

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)f_{Y}(y)}$。

類似的表示式亦可以用來兩個以上的隨機變量上。

條件獨立隨機變量

主條目：條件獨立

直覺地，兩個隨機變量X和Y給定Z條件獨立，如果：一旦知道了Z，從Y的值便不能得出任何關於X的資訊。例如，相同的數量Z的兩個測量X和Y不是獨立的，但它們是給定Z條件獨立（除非兩個測量的誤差是有關聯的）。

條件獨立的正式定義是基於條件分佈的想法。如果X、Y和Z是離散型隨機變量，那麼我們定義X和Y給定Z條件獨立，如果對於所有使${\displaystyle \mathrm {Pr} (Z\leq z)>0}$的x、y和z，都有：

${\displaystyle \mathrm {P} (X\leq x,Y\leq y\;|\;Z=z)=\mathrm {Pr} (X\leq x\;|\;Z=z)\cdot \mathrm {Pr} (Y\leq y\;|\;Z=z)}$

另一方面，如果隨機變量是連續的，且具有聯合概率密度p，那麼X和Y給定Z條件獨立，如果對於所有使${\displaystyle p_{Z}(z)>0}$的實數x、y和z，都有：

${\displaystyle p_{XY|Z}(x,y|z)=p_{X|Z}(x|z)\cdot p_{Y|Z}(y|z)}$

如果X和Y給定Z條件獨立，那麼對於任何滿足${\displaystyle \mathrm {Pr} (Z=z)>0}$的x、y和z，都有：

${\displaystyle \ \mathrm {Pr} (X=x|Y=y,Z=z)=\mathrm {Pr} (X=x|Z=z)}$

也就是說，X給定Y和Z的條件分佈，與僅僅給定Z的條件分佈是相同的。對於連續的情況下的條件概率密度函數，也有一個類似的公式。

獨立性可以視為條件獨立的一個特例，因為概率可以視為不給定任何事件的條件概率。

另見

• 耦合
• 獨立且同態隨機變量

書籍

• Kirby Faciane (2006). Statistics for Empirical and Quantitative Finance. H.C. Baird: Philadelphia. ISBN 0-9788208-9-4.

參考資料

1. Feller, W. Stochastic Independence. An Introduction to Probability Theory and Its Applications. Wiley. 1971.