協方差

在概率論與統計學中，協方差（英語：Covariance）用於衡量隨機變量間的相關程度。

「Covariance」的各地常用譯名
中國大陸	協方差
臺灣	共變異數
港澳	協方差
日本、韓國	共分散

兩變量X與Y在3種不同的協方差情況下的關係

定義

定義 — 
設 ${\displaystyle \Omega }$ 為樣本空間， ${\displaystyle P}$ 是定義在 ${\displaystyle \Omega }$ 的事件族 ${\displaystyle \Sigma }$ 上的概率。（換句話說， ${\displaystyle (\Omega ,\,\Sigma ,\,P)}$ 是個概率空間）

若 ${\displaystyle X}$ 與 ${\displaystyle Y}$ 是定義在 ${\displaystyle \Omega }$ 上的兩個實數隨機變量， 期望值分別為：

${\displaystyle \operatorname {E} (X)=\int _{\Omega }X\,dP=\mu }$

${\displaystyle \operatorname {E} (Y)=\int _{\Omega }Y\,dP=\nu }$

則兩者間的協方差定義為：

${\displaystyle \operatorname {cov} (X,Y)=\operatorname {E} [(X-\mu )(Y-\nu )]}$

根據測度積分的線性性質，上面的原始定義可以進一步簡化為：

${\displaystyle {\begin{aligned}\operatorname {cov} (X,Y)&=\int _{\Omega }(X-\mu )(Y-\nu )\,dP\\&=\int _{\Omega }X\cdot Y\,dP-\mu \int _{\Omega }Y\,dP-\nu \int _{\Omega }X\,dP+\mu \nu \\&=\operatorname {E} (X\cdot Y)-\mu \nu \end{aligned}}}$

協方差矩陣

協方差的定義可以推廣到兩列隨機變量之間

定義 — 
設 ${\displaystyle (\Omega ,\,\Sigma ,\,P)}$ 是概率空間， ${\displaystyle X=\{x_{i}\}_{i=1}^{m}}$ 與 ${\displaystyle Y=\{y_{j}\}_{j=1}^{n}}$ 是定義在 ${\displaystyle \Omega }$ 上的兩列實數隨機變量序列（也可視為有序對或行向量）

若二者對應的期望值分別為：

${\displaystyle E(x_{i})=\int _{\Omega }x_{i}\,dP=\mu _{i}}$

${\displaystyle E(y_{j})=\int _{\Omega }y_{j}\,dP=\nu _{j}}$

則這兩列隨機變量間的協方差定義成一個 ${\displaystyle m\times n}$ 矩陣

${\displaystyle \operatorname {\mathbf {cov} } (X,Y):={\left[\,\operatorname {cov} (x_{i},y_{j})\,\right]}_{m\times n}}$

以上的定義，以矩形來表示就是：

${\displaystyle \operatorname {\mathbf {cov} } (X,Y):={\begin{bmatrix}\operatorname {cov} (x_{1},y_{1})&\dots &\operatorname {cov} (x_{1},y_{n})\\\vdots &\ddots &\vdots \\\operatorname {cov} (x_{m},y_{1})&\dots &\operatorname {cov} (x_{m},y_{n})\end{bmatrix}}={\begin{bmatrix}\operatorname {E} (x_{1}y_{1})-\mu _{1}\nu _{1}&\dots &\operatorname {E} (x_{1}y_{n})-\mu _{1}\nu _{n}\\\vdots &\ddots &\vdots \\\operatorname {E} (x_{m}y_{1})-\mu _{m}\nu _{1}&\dots &\operatorname {E} (x_{m}y_{n})-\mu _{m}\nu _{n}\end{bmatrix}}}$

性質

統計獨立

定理 — 若隨機變量 ${\displaystyle X}$ 和 ${\displaystyle Y}$ 是相互獨立的，則

${\displaystyle \operatorname {cov} (X,Y)=0}$

計算性質

如果${\displaystyle X}$與${\displaystyle Y}$是實數隨機變量，${\displaystyle a}$與${\displaystyle b}$是常數，那麼根據協方差的定義可以得到：

${\displaystyle \operatorname {cov} (X,X)=\operatorname {var} (X)}$，

${\displaystyle \operatorname {cov} (X,Y)=\operatorname {cov} (Y,X)}$，

${\displaystyle \operatorname {cov} (aX,bY)=ab\,\operatorname {cov} (X,Y)}$，

對於隨機變量序列${\displaystyle X_{1},\ldots ,X_{n}}$與${\displaystyle Y_{1},\ldots ,Y_{m}}$，有

${\displaystyle \operatorname {cov} \left(\sum _{i=1}^{n}{X_{i}},\sum _{j=1}^{m}{Y_{j}}\right)=\sum _{i=1}^{n}{\sum _{j=1}^{m}{\operatorname {cov} \left(X_{i},Y_{j}\right)}}}$，

對於隨機變量序列${\displaystyle X_{1},\ldots ,X_{n}}$，有

${\displaystyle \operatorname {var} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\operatorname {var} (X_{i})+2\sum _{i,j\,:\,i<j}\operatorname {cov} (X_{i},X_{j})}$。

相關系數

主條目：皮爾森積動差相關係數

取決於協方差的相關性${\displaystyle \eta }$

${\displaystyle \eta ={\dfrac {\operatorname {cov} (X,Y)}{\sqrt {\operatorname {var} (X)\cdot \operatorname {var} (Y)}}}\ ,}$

更準確地說是線性相關性，是一個衡量線性獨立的無量綱數，其取值在${\displaystyle [-1,1]}$之間。相關性${\displaystyle \eta =1}$時稱為「完全線性相關」（相關性${\displaystyle \eta =-1}$時稱為「完全線性負相關」），此時將${\displaystyle Y_{i}}$對${\displaystyle X_{i}}$作Y-X 散點圖，將得到一組精確排列在直線上的點；相關性數值介於－1到1之間時，其絕對值越接近1表明線性相關性越好，作散點圖得到的點的排布越接近一條直線。

相關性為0（因而協方差也為0）的兩個隨機變量又被稱為是不相關的，或者更準確地說叫作「線性無關」、「線性不相關」，這僅僅表明${\displaystyle X}$與${\displaystyle Y}$兩隨機變量之間沒有線性相關性，並非表示它們之間一定沒有任何內在的（非線性）函數關係，和前面所說的「${\displaystyle X}$、${\displaystyle Y}$二者並不一定是統計獨立的」說法一致。

參見

• 方差
• 自協方差
• 協方差矩陣
• 協方差函數
• 誤差傳播