Kovarianssi

Kovarianssi on todennäköisyyslaskennassa ja tilastotieteessä kahden satunnaismuuttujan välisen riippuvuuden mitta. Se kuvaa, kuinka läheisesti muuttujat vaihtelevat yhdessä. Yksinkertaistaen voidaan havainnollistaa, että kovarianssi saa positiivisen arvon, kun satunnaismuuttujan arvot jäävät samalle puolelle odotusarvoihinsa nähden, ja vastaavasti negatiivisen arvon, kun niiden arvot jäävät eri puolille odotusarvoihinsa nähden. Kovarianssi on yhteisjakauman toinen keskusmomentti, jonka yksiköksi eli dimensioksi tulee kummankin satunnaismuuttujan yksiköiden tulo. Momentin käsitteeseen liittyy tulkinta, että kovarianssi on niin sanotun yhteisjakauman "todennäköisyysmassan painopisteen" ${\displaystyle \scriptstyle (E[X],E[Y])}$ ympärillä tapahtuvan vaihtelun mitta. Korrelaatio on kovarianssin normalisoitu tunnusluku, joka on puolestaan yksikötön.^[1]

Kuvassa tapauksiin liittyvien kahden satunnaismuuttujan arvojen mukaan tulostetut pisteet muodostavat kuvion, joka on selvästi jotain muuta kuin pyöreä pistepilvi. Sen mukaan satunnaismuuttujien arvot voisivat piippua toistaan eli niillä olisi kovarianssia.

Todennäköisyyslaskennassa kovarianssi on yhteisjakauman tunnusluku, kun taas tilastolaskennassa kovarianssi on todennäköisyyslaskennan tunnusluvun estimaatti.

Määritelmä ja merkinnät

Matemaattisesti kovarianssi ${\displaystyle \sigma _{XY}}$ on määritelty kahden reaaliarvoisen satunnaismuuttujan ${\displaystyle X}$ ja ${\displaystyle Y}$ avulla

${\displaystyle \sigma _{XY}=\operatorname {E} [(X-\mu _{X})(Y-\mu _{Y})],}$

missä ${\displaystyle E[X]=\mu _{X}}$ ja ${\displaystyle E[Y]=\mu _{Y}}$ ovat vastaavasti satunnaismuuttujien odotusarvot. Kovarianssi voidaan merkitä erilaisilla vaihtoehtoisilla tavoilla, kuten esimerkiksi

${\displaystyle \sigma _{XY}=\sigma (X,Y)=cov(X,Y)=Cov(X,Y).}$ ^[1]

Yhteisjakaumassa voi esiintyä myös merkinnät ${\displaystyle \sigma _{X}}$ ja ${\displaystyle \sigma _{Y}}$. Ne esittävät satunnaismuuttujien keskihajontoja ${\displaystyle \sigma _{X}={\sqrt {\sigma _{X}^{2}}}}$ ja ${\displaystyle \sigma _{Y}={\sqrt {\sigma _{Y}^{2}}}}$.^[2]

Diskreetit satunnaismuuttujat

Diskreetin satunnaismuuttujaparin kovarianssi lasketaan

${\displaystyle \sigma _{XY}=\sum _{x\in X}\sum _{y\in Y}(x-\mu _{X})(y-\mu _{Y})f_{XY}(x,y),}$ ^[1]

missä ${\displaystyle f_{XY}(x,y)}$ on yhteisjakauman pistetodennäköisyysfunktio.

Jatkuvat satunnaismuuttujat

Jatkuvan satunnaismuuttujaparin kovarianssi on taas

${\displaystyle \sigma _{XY}=\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }(x-\mu _{X})(y-\mu _{Y})f_{XY}(x,y)dydx,\,}$ ^[1]

missä ${\displaystyle f_{XY}(x,y)}$ on yhteisjakauman tiheysfunktio.

Ominaisuuksia

Rinnakkaiskaavan johtaminen

Yleisessä tilanteessa satunnaismuuttujat ovat toisistaan riippuvia jossakin mielessä. Silloin kovarianssi voidaan kehittää edelleen hyödyntämällä odotusarvo-operaattorin tunnetut ominaisuudet:^[1]

${\displaystyle {\begin{aligned}\sigma (X,Y)&=\operatorname {E} [(X-\operatorname {E} [X])(Y-\operatorname {E} [Y])]\\&=\operatorname {E} [XY-X\operatorname {E} [Y]-\operatorname {E} [X]Y+\operatorname {E} [X]\operatorname {E} [Y]]\\&=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]-\operatorname {E} [X]\operatorname {E} [Y]+\operatorname {E} [X]\operatorname {E} [Y]\\&=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]\\&=\operatorname {E} [XY]-\mu _{X}\mu _{Y}.\end{aligned}}}$

Riippumattomuus

Jos satunnaismuuttujat ovat riippumattomia, saadaan odotusarvoksi

${\displaystyle \operatorname {E} [XY]=\operatorname {E} [X]\operatorname {E} [Y]=\mu _{X}\mu _{Y}.}$

Yleisen kovarianssin kehitetystä lausekkeesta tulee silloin

${\displaystyle {\begin{aligned}\operatorname {cov} (X,Y)&=\operatorname {E} [XY]-\operatorname {E} [X]\operatorname {E} [Y]\\&=\operatorname {E} [X]\operatorname {E} [Y]-\operatorname {E} [X]\operatorname {E} [Y]=0.\end{aligned}}}$

Siten, jos satunnaismuuttujat ovat riippumattomia toisistaan, saadaan kovarianssiksi nolla. Päinvastainen ei pidä aina paikkaansa, sillä kovarianssin ollessa nolla, ei satunnaismuuttujat aina ole riippumattomia toisistaan.^[2][1]

Arvojoukko

Kovarianssin yksikkö määräytyy satunnaismuuttujien tulosta. Koska korrelaation arvo jää välille ${\displaystyle -1\leq r_{XY}\leq 1}$, saadaan kovarianssin arvolle väli ${\displaystyle -\sigma _{X}\sigma _{Y}\leq \sigma _{XY}\leq \sigma _{X}\sigma _{Y}}$, missä ${\displaystyle \sigma _{X}\sigma _{Y}}$ on keskihajontojen tulo.

Päättelysääntöjä

Kovarianssille voidaan johtaa seuraavia laskusääntöjä (${\displaystyle a,b}$ ovat reaalivakioita):

${\displaystyle \sigma (X,a)=0\,}$

${\displaystyle \sigma (X,X)=\sigma ^{2}(X)\,}$ eli ${\displaystyle \sigma _{XX}=\sigma _{X}^{2}}$ ^[2][3][1] (varianssi)

${\displaystyle \sigma (X,Y)=\sigma (Y,X)\,}$ ^[2] (symmetrisyys)

${\displaystyle \sigma (aX,bY)=ab\,\sigma (X,Y)\,}$ (kertoimien ulosotto)

${\displaystyle \sigma (X+a,Y+b)=\sigma (X,Y)\,}$ (vakionlisäys)

${\displaystyle \sigma (X+Z,Y)=\sigma (X,Y)+\sigma (Z,Y)\,}$ ^[2] (summan kovarianssi)

${\displaystyle \sigma (aX+bY,cW+dV)=ac\,\sigma (X,W)+ad\,\sigma (X,V)+bc\,\sigma (Y,W)+bd\,\sigma (Y,V)}$ (lineaarikombinaatiot)

${\displaystyle \sigma \left(\sum _{i}{X_{i}},\sum _{j}{Y_{j}}\right)=\sum _{i}{\sum _{j}{\sigma \left(X_{i},Y_{j}\right)}}}$ ^[2] (useiden satunnaismuuttujien summat)

Tilastollinen kovarianssi

Arvioitaessa kahden tilastomuuttujan kovarianssia, käytetään estimaattorina lauseketta

${\displaystyle \sigma _{XY}=\sum _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{n}},}$ ^[2]

missä otoksen suuruus on ${\displaystyle n}$ ja otoksen muuttujien keskiarvot ovat ${\displaystyle {\bar {x}}}$ ja ${\displaystyle {\bar {y}}}$. Usein kuitenkin jaetaan summa otoksen suuruutta yhtä pienemmällä luvulla (vapausaste)

${\displaystyle \sigma _{XY}=\sum _{i=1}^{n}{\frac {(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{n-1}}.}$ ^[4]

Satunnaisvektorit

Kun X ja Y ovat n- ja m-ulotteisia pystyvektoreita, n x m-ulotteinen kovarianssimatriisi on määritelty:

${\displaystyle \sigma (X,Y)=\operatorname {E} ((X-\mu _{X})(Y-\mu _{Y})^{\top }).}$

Matriisit cov(X,Y) ja cov(Y,X) ovat toistensa transpooseja. Kun X on vektori, matriisia cov(X,X) sanotaan X:n kovarianssimatriisiksi tai pidemmin varianssi-kovarianssi-matriisiksi.^[5]

Korrelaatiokerroin

Kovarianssilla voidaan mitata satunnaismuuttujien riippuvuuksia, mutta satunnaismuuttujien keskihajonnat vaikuttavat myös kovarianssin arvoon. Tuloksesta voidaan puhdistaa keskihajontojen vaikutukset jakamalla kovarianssi niillä, jolloin saadaan uusi riippuvuuden mitta korrelaatiokerroin

${\displaystyle \rho _{XY}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}.}$ ^[1]

Sen arvot vaihtelevat välillä ${\displaystyle -1\leq \rho _{XY}\leq 1}$ eikä sillä ole mittayksikköä.

Katso myös

• Momenttifunktio

Lähteet

1. Mellin, Ilkka: Moniulotteiset satunnaismuuttujat ja jakaumat, s.210−223, luentomoniste kurssista Todennäköisyyslaskenta, Aalto-yliopisto, 2007
2. Weisstein, Eric W.: Covariance (Math World – A Wolfram Web Resource) Wolfram Research. (englanniksi)
3. Weisstein, Eric W.: Variance (Math World – A Wolfram Web Resource) Wolfram Research. (englanniksi)
4. Mellin, Ilkka: Lineaarinen regressioanalyysi, s.240−266, luentomoniste kurssista Todennäköisyyslaskenta, Aalto-yliopisto, 2007
5. Weisstein, Eric W.: Covariance Matrix (Math World – A Wolfram Web Resource) Wolfram Research. (englanniksi)