分散共分散行列

分散共分散行列（ぶんさんきょうぶんさんぎょうれつ、英: variance-covariance matrix）や共分散行列（きょうぶんさんぎょうれつ、英: covariance matrix）とは、統計学と確率論において、ベクトルの要素間の共分散の行列である。これは、スカラー値をとる確率変数における分散の概念を、多次元に拡張したものである。

定義

次のような列ベクトルを考える。

${\displaystyle {\textbf {X}}={\begin{bmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{bmatrix}}}$

このベクトルの要素が各々分散が有限である確率変数であるとき、( i, j ) の要素が次のような行列 Σ を分散共分散行列という。

${\displaystyle \Sigma _{ij}=\mathrm {E} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}=\mathrm {E} (X_{i}X_{j})-\mathrm {E} (X_{i})\mathrm {E} (X_{j})}$

ただし、

${\displaystyle \mu _{i}=\mathrm {E} (X_{i})\,}$

は、ベクトル X の i 番目の要素の期待値である。すなわち、Σ は次のような行列である。

${\displaystyle \Sigma ={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}}$

この行列の逆行列は ${\displaystyle \Sigma ^{-1}}$ は、逆共分散行列（英: inverse covariance matrix） または精度行列（英: precision matrix） と呼ばれる^[1]。

分散の一般化としてみたとき

上記の定義は、下記の等式と同値である。

${\displaystyle \Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{\top }\right]}$

この形は、スカラー値における分散を高次元に拡張したものと捉えられる。 スカラー値を取る確率変数 X について、次が成り立つことに注意する。

${\displaystyle \sigma ^{2}=\mathrm {var} (X)=\mathrm {E} [(X-\mu )^{2}]\ }$

ただし、

${\displaystyle \mu =\mathrm {E} (X)\ }$

${\displaystyle \Sigma }$ が、分散共分散行列と呼ばれるのは、対角要素は分散だからである。

名称の問題

この行列の名前の呼び名には、いくつかの異なった流儀がある。統計学者の一部は、ウィリアム・フェラー（英語: William Feller）にならって、この行列が 1 次元の分散の自然な拡張であることから、この行列を確率変数のベクトル ${\displaystyle X}$ の分散と呼ぶ。また、この行列がベクトル ${\displaystyle X}$ のスカラー要素の共分散であることから、この行列を共分散行列と呼ぶ流儀もある。すなわち、

${\displaystyle \operatorname {var} ({\textbf {X}})=\operatorname {cov} ({\textbf {X}})=\mathrm {E} \left[({\textbf {X}}-\mathrm {E} [{\textbf {X}}])({\textbf {X}}-\mathrm {E} [{\textbf {X}}])^{\top }\right]}$

しかし、二つの確率変数ベクトルの間の相互共分散の標準的な記法は次のようになる。

${\displaystyle \operatorname {cov} ({\textbf {X}},{\textbf {Y}})=\mathrm {E} \left[({\textbf {X}}-\mathrm {E} [{\textbf {X}}])({\textbf {Y}}-\mathrm {E} [{\textbf {Y}}])^{\top }\right]}$

${\displaystyle \operatorname {var} }$ による記法は、フェラーの 2 巻の本 An Introduction to Probability Theory and Its Applications^[2]に見ることができるが、どちらの形式もかなり標準化されていて、その間に曖昧性はない。

性質

分散共分散行列 ${\displaystyle \Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{\top }\right]}$ について、次のような基本的な性質がある。ただし、${\displaystyle \mu =\mathrm {E} ({\textbf {X}})}$ とし、${\displaystyle \mathbf {X} }$、${\displaystyle \mathbf {X} _{1}}$ と ${\displaystyle \mathbf {X} _{2}}$ は確率変数の ${\displaystyle p\times 1}$ ベクトル、${\displaystyle \mathbf {Y} }$ は ${\displaystyle q\times 1}$ ベクトル、${\displaystyle \mathbf {a} }$ は ${\displaystyle q\times 1}$ ベクトル、${\displaystyle \mathbf {A} }$ と${\displaystyle \mathbf {B} }$ は ${\displaystyle q\times p}$ 行列とする。

1. ${\displaystyle \Sigma =\mathrm {E} (\mathbf {XX^{\top }} )-\mathbf {\mu } \mathbf {\mu ^{\top }} }$
   
2. ${\displaystyle \Sigma }$ は、半正定値行列
   
3. ${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A^{\top }} }$
   
4. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }}$
   
5. ${\displaystyle \operatorname {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\operatorname {cov} (\mathbf {X} _{1},\mathbf {Y} )+\operatorname {cov} (\mathbf {X} _{2},\mathbf {Y} )}$
   
6. もし p = q ならば、${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )}$
   
7. ${\displaystyle \operatorname {cov} (\mathbf {AX} ,\mathbf {B} ^{\top }\mathbf {Y} )=\mathbf {A} \,\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\,\mathbf {B} }$
   
8. もし ${\displaystyle \mathbf {X} }$と${\displaystyle \mathbf {Y} }$ が独立ならば、${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=0}$

この共分散行列は、シンプルではあるが、非常に多岐にわたる分野でとても有用なツールである。分散共分散行列からは、データの相関を完全に失わせるような写像を作る変換行列を作ることができる。これは、違った見方をすれば、データを簡便に記述するのに最適な基底を取っていることになる。(分散共分散行列のその他の性質やその証明については、en:Rayleigh quotientを参照) これは、統計学では主成分分析 (PCA) と呼ばれており、画像処理の分野では、カルーネン・レーベ変換（英語版） (KL-transform) と呼ばれている。

線形作用素として

線形作用素としてみたとき、分散共分散行列は、ベクトル c を、確率変数ベクトル X の c に関する c による線形和と確率変数 X 自身の間で取った共分散ベクトルに写像する

${\displaystyle \mathbf {c} ^{\top }\Sigma =\operatorname {cov} (\mathbf {c} ^{\top }\mathbf {X} ,\mathbf {X} )}$

二次形式としてみた場合は、X に関する c と d の二つの線形和の間で取った共分散に写像すると考えればよい。

${\displaystyle \mathbf {d} ^{\top }\Sigma \mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\top }\mathbf {X} ,\mathbf {c} ^{\top }\mathbf {X} )}$

ここで、d を c とすれば、X に関する c による線形和の分散となる。

${\displaystyle \mathbf {c} ^{\top }\Sigma \mathbf {c} }$

どのような行列が分散共分散行列となれるか

すぐ上で使った次の等式と、

${\displaystyle \operatorname {var} (\mathbf {a^{\top }} \mathbf {X} )=\mathbf {a^{\top }} \operatorname {var} (\mathbf {X} )\mathbf {a} \,}$

実数値を取る確率変数の分散は非負であるということから、すぐに半正定値行列だけが分散共分散行列になることができるということがわかる。さらに、任意の半正定値行列は分散共分散行列とみなすことができる。これを示すには、次のようにする。まず、M を p × p の半正定値対称行列とする。有限次元のスペクトル理論より、M は半正定値対称平方根行列 M^1/2 を持つ。X を任意の p × 1 の確率変数の列ベクトルとし、その分散共分散行列が p × p の恒等行列だとする。すると

${\displaystyle \operatorname {var} (M^{1/2}\mathbf {X} )=M^{1/2}(\operatorname {var} (\mathbf {X} ))M^{1/2}=M.\,}$

複素数の確率変数ベクトル

複素数のスカラー値を取る期待値μの確率変数の分散は、便宜的に、以下のように共役複素数を用いて定義される。

${\displaystyle \operatorname {var} (z)=\operatorname {E} \left[(z-\mu )(z-\mu )^{*}\right]}$

ただし、${\displaystyle z^{*}}$ は ${\displaystyle z}$ の共役複素数。

${\displaystyle Z}$ が複素数の確率変数の列ベクトルであるときは、共役転置（転置して共役を取ったもの）を用いることで、次の正方行列を得る。

${\displaystyle \operatorname {E} \left[(Z-\mu )(Z-\mu )^{*}\right]}$

ただし、${\displaystyle Z^{*}}$ は共役転置。スカラーの転置をとってもやはりスカラーなので、スカラーの場合の議論は、この形の特殊な場合とみなせる。

推定

多次元正規分布の分散共分散行列の最尤推定量の導出は、驚くほど巧妙である。 en:estimation of covariance matricesを参照。

確率密度関数

${\displaystyle n}$ 個の相関のある確率変数の確率密度関数、特に n 次のガウス分布に従う確率変数ベクトルの同時確率については、最尤法を参照。

関連項目

• 多変量解析
• 対称行列
• 分散 (確率論)
• 共分散

出典

1. Wasserman.
2. Feller Vol.1, Feller Vol.2.

参考文献

• Weisstein, Eric W. "Covariance Matrix". mathworld.wolfram.com (英語).
• Larry Wasserman (2004). All of Statistics: A Concise Course in Statistical Inference (1st Corrected ed.). Springer. ISBN 978-0387402727
• N.G. van Kampen (2007). Stochastic processes in physics and chemistry (3rd ed.). New York: North-Holland. ISBN 978-0444529657
• William Feller (1968). An Introduction to Probability Theory and Its Applications. 1 (3rd ed.). WILEY. ISBN 978-0471257080
• William Feller (1971). An Introduction to Probability Theory and Its Applications. 2 (2nd ed.). WILEY. ISBN 978-0471257097
  • ウィリアム・フェラー『確率論とその応用』 I 上、河田 龍夫（監訳）、卜部 舜一（翻訳）、紀伊國屋書店、1960年。ISBN 978-4314000123。
  • ウィリアム・フェラー『確率論とその応用』 I 下、河田 龍夫（監訳）、卜部 舜一（翻訳）、紀伊國屋書店、1961年。ISBN 978-4314000161。
  • ウィリアム・フェラー『確率論とその応用』 II 上、国沢 清典（監訳）、羽鳥 裕久（翻訳）、大平 坦（翻訳）、紀伊國屋書店、1969年。ISBN 978-4314000550。
  • ウィリアム・フェラー『確率論とその応用』 II 下、国沢 清典（監訳）、羽鳥 裕久（翻訳）、大平 坦（翻訳）、紀伊國屋書店、1970年。ISBN 978-4314000604。