概率空間

概率空間是概率論的基礎。概率的嚴格定義基於這個概念。

定義

概率空間 ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ 是一個總測度為1的測度空間（即 ${\displaystyle P(\Omega )=1}$）。

第一項 ${\displaystyle \Omega }$ 是一個非空集合，稱作樣本空間。${\displaystyle \Omega }$ 里的元素稱作結果或樣本輸出^{[來源請求]}，可寫作ω。

第二項 ${\displaystyle {\mathcal {F}}}$ 是一個 σ-代數。事件是樣本空間 ${\displaystyle \Omega }$ 的子集，${\displaystyle {\mathcal {F}}}$ 由事件構成，是樣本空間 ${\displaystyle \Omega }$ 冪集 ${\displaystyle 2^{\Omega }}$ 的一個非空子集。集合 ${\displaystyle {\mathcal {F}}}$ 必須是一個σ-代數，即滿足下面三個性質:

1. ${\displaystyle {\mathcal {F}}}$ 包含全集，即 ${\displaystyle \Omega {\in }{\mathcal {F}}}$；
2. 若 ${\displaystyle A{\in }{\mathcal {F}}}$，則補集 ${\displaystyle {\bar {A}}{\in }{\mathcal {F}}}$；
3. ${\displaystyle {\mathcal {F}}}$ 對可數並封閉，即對於 ${\displaystyle A_{n}{\in }{\mathcal {F}}}$，${\displaystyle n=1,2,...}$，那麼${\displaystyle \bigcup _{n=1}^{\infty }A_{n}{\in }{\mathcal {F}}}$

空間 ${\displaystyle (\Omega ,{\mathcal {F}})}$ 稱為可測空間，在此集合上可定義其概率測度。

第三項 ${\displaystyle P}$ 稱為概率，或者概率測度。這是一個從集合 ${\displaystyle {\mathcal {F}}}$ 到實數體 ${\displaystyle \mathbb {R} }$ 的函數。概率測度 ${\displaystyle P:{\mathcal {F}}{\to }\mathbb {R} }$ 需要滿足

1. 可數可加性：如果 ${\displaystyle \{A_{i}\}_{i=1}^{\infty }\subset {\mathcal {F}}}$ 為兩兩不交的集合，那麼 ${\displaystyle P\left(\bigcup _{i=1}^{\infty }A_{i}\right)=\sum _{i=1}^{\infty }P(A_{i})}$。
2. 全空間的概率為 1，即 ${\displaystyle P(\Omega )=1}$。

概率測度給每個事件賦予一個 0 和 1 之間的概率值。

概率測度經常以粗體表示，例如 ${\displaystyle \mathbb {P} }$ 或 ${\displaystyle \mathbf {P} }$ ，也可用符號 ${\displaystyle \Pr }$ 來表示。

離散模式

離散概率理論僅需要可數集的樣本空間 ${\displaystyle \Omega }$。概率指的是由概率質量函數 ${\displaystyle p:\Omega \to [0,1]}$求得${\displaystyle \Omega }$上的使得 ${\displaystyle \sum _{\omega \in \Omega }p(\omega )=1}$ 的點。${\displaystyle \Omega }$ 全部的子集合可視為隨機事件（也就是${\displaystyle {\mathcal {F}}=2^{\Omega }}$為冪集）。概率測度可簡寫為$${\displaystyle (*)\qquad P(A)=\sum _{\omega \in A}p(\omega )\quad {\text{for all }}A\subseteq \Omega }$$

使用 σ-代數 ${\displaystyle {\mathcal {F}}=2^{\Omega }}$能夠完整描述樣本空間。一般來說，σ-代數相當於一個有限或可數的集合劃分${\displaystyle \Omega =B_{1}\cup B_{2}\cup \dots }$，事件A的一般型${\displaystyle A\in {\mathcal {F}}}$ 且${\displaystyle A=B_{k_{1}}\cup B_{k_{2}}\cup \dots }$

${\displaystyle p(\omega )=0}$是被定義允許的情況但極少使用，因為這樣的${\displaystyle \omega }$可以安全地從樣本空間中移除。

一般模式

如果Ω不可數，存在某些ω使得p(ω) ≠ 0的情況仍然存在，那些ω稱為原子。他們大部分都是可數的集合（有可能為空集合），其可能性為所有原子概率的和。如果這個和等於1，那麼其他的點可以安全地從樣本空間中移除，回歸離散模式。反之，如果和少與1（有可能為零）那麼概率空間分解成為離散（原子）部分（可能為零），以及非原子部分。

例子

若樣本空間是關於一個機會均等的拋硬幣動作，則樣本輸出為「正面」或「反面」。事件為：

• {正面}，其概率為0.5。
• {反面}，其概率為0.5。
• { }=∅ 非正非反，其概率為0.
• {正面，反面}，不是正面就是反面，這是Ω，其概率為1。

相關概念

隨機變量

隨機變量是一個從Ω映射到另一個集合(通常是實數體R)的函數。它必須是一個可測函數。比如說，若X是一個實隨機變量，則使X為正的樣本輸出的集合{ω∈Ω:X(ω)>0}是一個事件。

為簡便起見，{ω∈Ω:X(ω)>0}經常衹寫作{X>0}。P({X>0})更被簡化為P(X>0)。

獨立

若P(A∩B)=P(A)P(B)，則A和B兩個事件是獨立的。

若任何與隨機變量X有關的事件和任何與隨機變量Y有關的事件獨立，則X和Y兩個隨機變量是獨立的。

獨立這個概念是概率論和測度論分道揚鑣的地方。

互斥

若P(A∩B)=0，則稱A和B兩個事件互斥或「不相交」（這個性質要比A∩B=∅弱一些，後者是集合不相交的定義）。

若兩個事件A和B不相交，則P(A∪B)=P(A)+P(B)。這個性質可以擴展到由（有限個或者可數無限個）事件組成的事件序列。但不可數無限個事件組成的事件集合對應的概率與集合元素對應概率之和未必相等，例如若Z是正態分佈的隨機變量，則對任意x有P(Z=x)=0，但是P(Z是實數)=1。

事件A∩B的意思是A並且B；事件A∪B的意思是A或者B.