Formula computazionale per la varianza

In teoria della probabilità e statistica, ci sono parecchie formule computazionali per la varianza che permettono di ottenere la varianza di una variabile casuale. La loro utilità dipende da ciò che è già noto sulla variabile casuale; per esempio, una variabile casuale può essere definita in termini della sua funzione di densità di probabilità o per costruzione da altre variabili casuali. In questo contesto, intendiamo ottenere espressioni algebriche per la varianza teorica di una variabile casuale, differentemente dalle questioni di stimare la varianza di una popolazione da dati campione per i quali ci sono speciali considerazioni per l'implementazione di algoritmi di calcolo.

In termini di momenti di origine zero

Se i momenti di origine zero ${\displaystyle E(X)}$ e ${\displaystyle E(X^{2})}$ di una variabile casuale ${\displaystyle X}$ sono noti (dove ${\displaystyle E(X)}$ è il valore atteso di ${\displaystyle X}$), allora ${\displaystyle \operatorname {Var} (X)}$ è data da

${\displaystyle \operatorname {Var} (X)=\operatorname {E} (X^{2})-[\operatorname {E} (X)]^{2}.}$

Il risultato è chiamato formula di König–Huygens nella letteratura francese^[1] e noto come teorema di traslazione di Steiner in Germania.^[2]

Esiste una formula corrispondente da utilizzare per la stima della varianza da dati campione, che può essere utile nei calcoli manuali. Si tratta di un'identità strettamente correlata che è strutturata per creare una stima priva di bias della varianza della popolazione

${\displaystyle {\hat {\sigma }}^{2}={\frac {1}{N-1}}\sum _{i=1}^{N}(x_{i}-{\bar {x}})^{2}={\frac {N}{N-1}}\left({\bar {x^{2}}}-{\bar {x}}^{2}\right)={\frac {N}{N-1}}\left({\frac {1}{N}}\left(\sum _{i=1}^{N}x_{i}^{2}\right)-{\bar {x}}^{2}\right)\equiv {\frac {1}{N-1}}\left(\left(\sum _{i=1}^{N}x_{i}^{2}\right)-N\left({\bar {x}}\right)^{2}\right).}$

L'uso di queste formule può tuttavia essere sconveniente nella pratica quando si utilizza l'aritmetica in virgola mobile con precisione limitata: la sottrazione tra due valori di grandezza analoga può portare a una cancellazione catastrofica,^[3] e causare così una perdita di significato quando ${\displaystyle \operatorname {E} (X)^{2}\gg \operatorname {Var} (X)}$. Esistono altri algoritmi per il calcolo della varianza numericamente stabili per l'uso con l'aritmetica in virgola mobile.

Dimostrazione

La formula computazionale per la varianza della popolazione segue in maniera diretta dalla proprietà di linearità dei valori attesi e dalla definizione di varianza:

${\displaystyle {\begin{aligned}\operatorname {Var} (X)&=\operatorname {E} \left[(X-\operatorname {E} (X))^{2}\right]\\&=\operatorname {E} \left[X^{2}-2X\operatorname {E} (X)+[\operatorname {E} (X)]^{2}\right]\\&=\operatorname {E} (X^{2})-\operatorname {E} [2X\operatorname {E} (X)]+[\operatorname {E} (X)]^{2}\\&=\operatorname {E} (X^{2})-2\operatorname {E} (X)\operatorname {E} (X)+[\operatorname {E} (X)]^{2}\\&=\operatorname {E} (X^{2})-2[\operatorname {E} (X)]^{2}+[\operatorname {E} (X)]^{2}\\&=\operatorname {E} (X^{2})-[\operatorname {E} (X)]^{2}\end{aligned}}}$

Dimostrazione per la stima della varianza

${\displaystyle {\begin{aligned}{\hat {\sigma }}^{2}&={\frac {1}{N-1}}\sum _{i=1}^{N}(x_{i}-{\bar {x}})^{2}\\&={\frac {1}{N-1}}\sum _{i=1}^{N}(x_{i}^{2}-2x_{i}{\bar {x}}+{\bar {x}}^{2})\\&={\frac {1}{N-1}}\left(\left(\sum _{i=1}^{N}x_{i}^{2}\right)-2{\bar {x}}\left(\sum _{i=1}^{N}x_{i}\right)+N{\bar {x}}^{2}\right)\\&={\frac {1}{N-1}}\left(\left(\sum _{i=1}^{N}x_{i}^{2}\right)-2N{\bar {x}}^{2}+N{\bar {x}}^{2}\right)\\&={\frac {1}{N-1}}\left(\left(\sum _{i=1}^{N}x_{i}^{2}\right)-N{\bar {x}}^{2}\right)\\&={\frac {N}{N-1}}\left({\frac {1}{N}}\left(\sum _{i=1}^{N}x_{i}^{2}\right)-{\bar {x}}^{2}\right)&={\frac {N}{N-1}}\left({\bar {x^{2}}}-{\bar {x}}^{2}\right)\end{aligned}}}$

Generalizzazione per la covarianza

Questa formula può essere generalizzata per la covarianza, con due variabili casuali ${\displaystyle X_{i}}$ e ${\displaystyle X_{j}}$:

${\displaystyle \operatorname {Cov} (X_{i},X_{j})=\operatorname {E} (X_{i}X_{j})-\operatorname {E} (X_{i})\operatorname {E} (X_{j})}$

così come per la matrice delle covarianze ${\displaystyle n}$ per ${\displaystyle n}$ di un vettore casuale di lunghezza ${\displaystyle n}$:

${\displaystyle \operatorname {Var} (\mathbf {X} )=\operatorname {E} (\mathbf {XX^{\top }} )-\operatorname {E} (\mathbf {X} )\operatorname {E} (\mathbf {X} )^{\top }}$

e per la matrice delle covarianze incrociate ${\displaystyle n}$ per ${\displaystyle m}$ tra due vettori casuali di lunghezze ${\displaystyle n}$ ed ${\displaystyle m}$:

${\displaystyle \operatorname {Cov} ({\textbf {X}},{\textbf {Y}})=\operatorname {E} (\mathbf {XY^{\top }} )-\operatorname {E} (\mathbf {X} )\operatorname {E} (\mathbf {Y} )^{\top }}$

dove le aspettazioni sono prese elemento per elemento e ${\displaystyle \mathbf {X} =\{X_{1},X_{2},\ldots ,X_{n}\}}$ e ${\displaystyle \mathbf {Y} =\{Y_{1},Y_{2},\ldots ,Y_{m}\}}$ sono vettori casuali di lunghezze rispettive ${\displaystyle n}$ e ${\displaystyle m}$.

Notare che questa formula soffre della stessa perdita di significato di cui soffre la formula per la varianza se usata per calcolare stime della covarianza.