多元常態分布

多變量常態分布亦稱為多變量高斯分布。它是單維常態分布向多維的推廣。它同矩陣常態分布有緊密的聯繫。

多元常態分布

機率密度函數 Many samples from a multivariate (bivariate) Gaussian distribution centered at (1,3) with a standard deviation of 3 in roughly the (0.878, 0.478) direction (longer vector) and of 1 in the second direction (shorter vector, orthogonal to the longer vector).
記號	${\displaystyle {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$
母數	μ ∈ RN — 位置 Σ ∈ RN×N — 共變異數矩陣 (半正定)
值域	x ∈ μ+span(Σ) ⊆ RN
機率密度函數	${\displaystyle (2\pi )^{-{\frac {N}{2}}}|{\boldsymbol {\Sigma }}|^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},}$ （唯若 Σ 為正定矩陣時）
累積分布函數	解析表達式不存在
期望值	μ
眾數	μ
共變異數矩陣	Σ
熵	${\displaystyle {\frac {1}{2}}\ln((2\pi e)^{N}|{\boldsymbol {\Sigma }}|)}$
動差母函數	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}'\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} '{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
特徵函數	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}'\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} '{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$

一般形式

N維隨機向量${\displaystyle \ X=[X_{1},\dots ,X_{N}]^{T}}$如果服從多變量常態分布，必須滿足下面的三個等價條件：

1. 任何線性組合${\displaystyle \ Y=a_{1}X_{1}+\cdots +a_{N}X_{N}}$服從常態分布。
2. 存在隨機向量${\displaystyle \ Z=[Z_{1},\dots ,Z_{M}]^{T}}$( 它的每個元素服從獨立標準常態分布），向量${\displaystyle \ \mu =[\mu _{1},\dots ,\mu _{N}]^{T}}$及${\displaystyle N\times M}$ 矩陣${\displaystyle \ A}$滿足${\displaystyle \ X=AZ+\mu }$.
3. 存在${\displaystyle \mu }$和一個對稱半正定陣${\displaystyle \ \Sigma }$滿足${\displaystyle \ X}$的特徵函數

   ${\displaystyle \phi _{X}\left(u;\mu ,\Sigma \right)=\mathrm {e} ^{i\mu ^{T}u-{\frac {1}{2}}u^{T}\Sigma u}}$

如果${\displaystyle \ \Sigma }$是非奇異的，那麼該分布可以由以下的機率密度函數來描述：^[1]

${\displaystyle f_{\mathbf {x} }(x_{1},\ldots ,x_{k})={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\mathrm {e} ^{-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})},}$

注意這裡的${\displaystyle |\Sigma |}$表示共變異數矩陣的行列式。

二元的情況

在二維非奇異的情況下（k = rank(Σ) = 2），向量 [X Y]′ 的機率密度函數為：

${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\mathrm {e} ^{-{\frac {1}{2(1-\rho ^{2})}}\left[({\frac {x-\mu _{X}}{\sigma _{X}}})^{2}-2\rho ({\frac {x-\mu _{X}}{\sigma _{X}}})({\frac {y-\mu _{Y}}{\sigma _{Y}}})+({\frac {y-\mu _{Y}}{\sigma _{Y}}})^{2}\right]}}$

其中 ρ 是 X 與 Y 之間的相關係數，${\displaystyle \sigma _{X}>0}$ 且 ${\displaystyle \sigma _{Y}>0}$。在這種情況下，

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.}$

參考文獻

1. UIUC, Lecture 21. The Multivariate Normal Distribution （頁面存檔備份，存於網際網路檔案館）, 21.5:"Finding the Density".