协方差

在机率论与统计学中，共变异数（英语：Covariance）用于衡量随机变量间的相关程度。

“Covariance”的各地常用译名
中国大陆	协方差
台湾	共变异数
港澳	协方差
日本、韩国	共分散

两变数X与Y在3种不同的共变异数情况下的关系

定义

定义 — 
设 ${\displaystyle \Omega }$ 为样本空间， ${\displaystyle P}$ 是定义在 ${\displaystyle \Omega }$ 的事件族 ${\displaystyle \Sigma }$ 上的机率。（换句话说， ${\displaystyle (\Omega ,\,\Sigma ,\,P)}$ 是个机率空间）

若 ${\displaystyle X}$ 与 ${\displaystyle Y}$ 是定义在 ${\displaystyle \Omega }$ 上的两个实数随机变量， 期望值分别为：

${\displaystyle \operatorname {E} (X)=\int _{\Omega }X\,dP=\mu }$

${\displaystyle \operatorname {E} (Y)=\int _{\Omega }Y\,dP=\nu }$

则两者间的协方差定义为：

${\displaystyle \operatorname {cov} (X,Y)=\operatorname {E} [(X-\mu )(Y-\nu )]}$

根据测度积分的线性性质，上面的原始定义可以进一步简化为：

${\displaystyle {\begin{aligned}\operatorname {cov} (X,Y)&=\int _{\Omega }(X-\mu )(Y-\nu )\,dP\\&=\int _{\Omega }X\cdot Y\,dP-\mu \int _{\Omega }Y\,dP-\nu \int _{\Omega }X\,dP+\mu \nu \\&=\operatorname {E} (X\cdot Y)-\mu \nu \end{aligned}}}$

协方差矩阵

协方差的定义可以推广到两列随机变数之间

定义 — 
设 ${\displaystyle (\Omega ,\,\Sigma ,\,P)}$ 是机率空间， ${\displaystyle X=\{x_{i}\}_{i=1}^{m}}$ 与 ${\displaystyle Y=\{y_{j}\}_{j=1}^{n}}$ 是定义在 ${\displaystyle \Omega }$ 上的两列实数随机变量序列（也可视为有序对或行向量）

若二者对应的期望值分别为：

${\displaystyle E(x_{i})=\int _{\Omega }x_{i}\,dP=\mu _{i}}$

${\displaystyle E(y_{j})=\int _{\Omega }y_{j}\,dP=\nu _{j}}$

则这两列随机变量间的协方差定义成一个 ${\displaystyle m\times n}$ 矩阵

${\displaystyle \operatorname {\mathbf {cov} } (X,Y):={\left[\,\operatorname {cov} (x_{i},y_{j})\,\right]}_{m\times n}}$

以上的定义，以矩形来表示就是：

${\displaystyle \operatorname {\mathbf {cov} } (X,Y):={\begin{bmatrix}\operatorname {cov} (x_{1},y_{1})&\dots &\operatorname {cov} (x_{1},y_{n})\\\vdots &\ddots &\vdots \\\operatorname {cov} (x_{m},y_{1})&\dots &\operatorname {cov} (x_{m},y_{n})\end{bmatrix}}={\begin{bmatrix}\operatorname {E} (x_{1}y_{1})-\mu _{1}\nu _{1}&\dots &\operatorname {E} (x_{1}y_{n})-\mu _{1}\nu _{n}\\\vdots &\ddots &\vdots \\\operatorname {E} (x_{m}y_{1})-\mu _{m}\nu _{1}&\dots &\operatorname {E} (x_{m}y_{n})-\mu _{m}\nu _{n}\end{bmatrix}}}$

性质

统计独立

定理 — 若随机变数 ${\displaystyle X}$ 和 ${\displaystyle Y}$ 是相互独立的，则

${\displaystyle \operatorname {cov} (X,Y)=0}$

计算性质

如果${\displaystyle X}$与${\displaystyle Y}$是实数随机变量，${\displaystyle a}$与${\displaystyle b}$是常数，那么根据协方差的定义可以得到：

${\displaystyle \operatorname {cov} (X,X)=\operatorname {var} (X)}$，

${\displaystyle \operatorname {cov} (X,Y)=\operatorname {cov} (Y,X)}$，

${\displaystyle \operatorname {cov} (aX,bY)=ab\,\operatorname {cov} (X,Y)}$，

对于随机变量序列${\displaystyle X_{1},\ldots ,X_{n}}$与${\displaystyle Y_{1},\ldots ,Y_{m}}$，有

${\displaystyle \operatorname {cov} \left(\sum _{i=1}^{n}{X_{i}},\sum _{j=1}^{m}{Y_{j}}\right)=\sum _{i=1}^{n}{\sum _{j=1}^{m}{\operatorname {cov} \left(X_{i},Y_{j}\right)}}}$，

对于随机变量序列${\displaystyle X_{1},\ldots ,X_{n}}$，有

${\displaystyle \operatorname {var} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\operatorname {var} (X_{i})+2\sum _{i,j\,:\,i<j}\operatorname {cov} (X_{i},X_{j})}$。

相关系数

主条目：皮尔逊积矩相关系数

取决于协方差的相关性${\displaystyle \eta }$

${\displaystyle \eta ={\dfrac {\operatorname {cov} (X,Y)}{\sqrt {\operatorname {var} (X)\cdot \operatorname {var} (Y)}}}\ ,}$

更准确地说是线性相关性，是一个衡量线性独立的无量纲数，其取值在${\displaystyle [-1,1]}$之间。相关性${\displaystyle \eta =1}$时称为“完全线性相关”（相关性${\displaystyle \eta =-1}$时称为“完全线性负相关”），此时将${\displaystyle Y_{i}}$对${\displaystyle X_{i}}$作Y-X 散点图，将得到一组精确排列在直线上的点；相关性数值介于－1到1之间时，其绝对值越接近1表明线性相关性越好，作散点图得到的点的排布越接近一条直线。

相关性为0（因而协方差也为0）的两个随机变量又被称为是不相关的，或者更准确地说叫作“线性无关”、“线性不相关”，这仅仅表明${\displaystyle X}$与${\displaystyle Y}$两随机变量之间没有线性相关性，并非表示它们之间一定没有任何内在的（非线性）函数关系，和前面所说的“${\displaystyle X}$、${\displaystyle Y}$二者并不一定是统计独立的”说法一致。

参见

• 变异数
• 自协方差
• 协方差矩阵
• 协方差函数
• 误差传播