Багатовимірний нормальний розподіл

Багатовимірний нормальний розподіл (чи багатовимірний гаусів розподіл) у теорії ймовірностей — це узагальнення одновимірного нормального розподілу для випадку із багатьма вимірами. Відповідно до одного із визначень стверджують, що вектор випадкових величин має k-варіативний нормальний розподіл якщо кожна лінійна комбінація його k компонент має одновимірний нормальний розподіл. В основному його важливість випливає із узагальнення центральної граничної теореми для багатьох вимірів. Багатовимірний нормальний розподіл часто використовують аби описати, принаймні наближено, будь-яку множину (можливо) корельованих випадкових величин із дійсними значенням, кожна з яких скупчується довкола середнього значення.

Багатовимірний нормальний розподіл
Множина точок, що представляють елементарні події багатовимірного нормального розподілу із ${\displaystyle {\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]}$ і ${\displaystyle {\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]}$, разом з якими показано еліпс розміром в 3-сігми, два маргінальні розподіли і дві 1-вимірні гістограми.
Параметри	μ ∈ Rk — коефіцієнт зсуву Σ ∈ Rk×k — коваріаційна матриця (додатноозначена матриця)
Носій функції	x ∈ μ + span(Σ) ⊆ Rk
Розподіл імовірностей	${\displaystyle \operatorname {det} (2\pi {\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},}$ існує лише за умови, що Σ є додатньоозначена матриця
Функція розподілу ймовірностей (cdf)	(не має аналітичного виразу)
Середнє	μ
Мода	μ
Дисперсія	Σ
Ентропія	${\displaystyle {\frac {1}{2}}\ln \operatorname {det} \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)}$
Твірна функція моментів (mgf)	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}'\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} '{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
Характеристична функція	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}'\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} '{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$

Позначення і параметризація

Багатовимірний нормальний розподіл k-вимірного вектору випадкових величин X = [X₁, X₂, …, X_k]^T може записуватися у формі наступної нотації:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

або із метою явно зазначити, що X є k-вимірним:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

із k-вимірним вектором середніх значень

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=[\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]]^{\rm {T}},}$

і матрицею коваріацій ${\displaystyle k\times k}$

${\displaystyle {\boldsymbol {\Sigma }}=:\operatorname {E} [(\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\rm {T}}]=[\operatorname {Cov} [X_{i},X_{j}];1\leq i,j\leq k].}$

Визначення

Випадковий вектор ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }:\Omega \to \mathbb {R} ^{n}}$ має багатовимірний нормальний розподіл, якщо виконується одне з наступних еквівалентних умов:

• Довільна лінійна комбінація компонентів вектора ${\displaystyle \sum \limits _{i=1}^{n}a_{i}X_{i}}$ має нормальний розподіл є константою.
• Існує вектор незалежних стандартних нормальних випадкових величин ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{m})^{\top }}$, дійсний вектор ${\displaystyle \mathbf {\mu } =(\mu _{1},\ldots ,\mu _{n})^{\top }}$ і матриця ${\displaystyle \mathbf {A} }$ розмірності ${\displaystyle n\times m}$, такі що:

${\displaystyle \mathbf {X} =\mathbf {A} \mathbf {Z} +\mathbf {\mu } }$.

• Існує вектор ${\displaystyle \mathbf {\mu } \in \mathbb {R} ^{n}}$ і додатньо визначена симетрична матриця ${\displaystyle \mathbf {\Sigma } }$ розмірності ${\displaystyle n\times n}$, такі що характеристична функція вектора ${\displaystyle \mathbf {X} }$ має вид:

${\displaystyle \phi _{\mathbf {X} }(\mathbf {u} )=e^{i\mathbf {\mu } ^{\top }\mathbf {u} -{\frac {1}{2}}\mathbf {u} ^{\top }\Sigma \mathbf {u} },\;\mathbf {u} \in \mathbb {R} ^{n}}$.

Зауваження

• Якщо розглядати тільки розподілу з невиродженою коваріаційною матрицею, то еквівалентним буде також наступне визначення:

Існує вектор ${\displaystyle \mathbf {\mu } \in \mathbb {R} ^{n}}$ і додатно визначена симетрична матриця ${\displaystyle \mathbf {\Sigma } }$ розмірності ${\displaystyle n\times n}$, такі що щільність ймовірності вектора ${\displaystyle \mathbf {X} }$ має вид:

${\displaystyle f_{\mathbf {X} }(\mathbf {x} )={\frac {1}{(2\pi )^{n/2}\vert \Sigma \vert ^{1/2}}}e^{-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\top }\Sigma ^{-1}(\mathbf {x} -\mathbf {\mu } )},\;\mathbf {x} \in \mathbb {R} ^{n}}$,

де ${\displaystyle \vert \Sigma \vert }$ — визначник матриці ${\displaystyle \Sigma }$, а ${\displaystyle \Sigma ^{-1}}$ — матриця зворотна до ${\displaystyle \Sigma }$

• Вектор ${\displaystyle \mathbf {\mu } }$ є вектором середніх значень ${\displaystyle \mathbf {X} }$, а ${\displaystyle \Sigma }$ — його коваріаційна матриця
• У випадку ${\displaystyle n=1}$, багатовимірний нормальний розподіл зводиться до звичайного нормального розподілу.
• Якщо випадковий вектор ${\displaystyle \mathbf {X} }$ має багатовимірний нормальний розподіл, то пишуть ${\displaystyle \mathbf {X} \sim \mathrm {N} (\mathbf {\mu } ,\Sigma )}$.

Властивості

• Якщо вектор ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}$ має багатовимірний нормальний розподіл, то його компоненти ${\displaystyle X_{i},i=1,\ldots ,n,}$ мають одновимірний нормальний розподіл. Зворотне, узагалі говорячи, невірно (див. приклад [Архівовано 15 грудня 2012 у Wayback Machine.])!
• Якщо випадкові величини ${\displaystyle X_{1},\ldots ,X_{n}}$ мають одномірний нормальний розподіл і спільно незалежні, те випадковий вектор ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}$ має багатовимірний нормальний розподіл. Матриця коваріацій ${\displaystyle \Sigma }$ такого вектора діагональна.
• Якщо ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}$ має багатовимірний нормальний розподіл, і його компоненти попарно некорельовані, то вони незалежні. Однак, якщо тільки компоненти ${\displaystyle X_{i},\;i=1,\ldots ,n}$ мають одномірний нормальний розподіл і попарно не корелюють, те звідси не випливає, що вони незалежні.

Контрприклад. Нехай ${\displaystyle X\sim \mathrm {N} (0,1)}$, а ${\displaystyle \alpha =\pm 1}$ з рівними ймовірностями. Тоді якщо ${\displaystyle Y=\alpha X\sim \mathrm {N} (0,1)}$, те кореляція ${\displaystyle X}$ і ${\displaystyle Y}$ дорівнює нулю. Однак, ці випадкові величини залежні.

• Багатовимірний нормальний розподіл стійко щодо лінійних перетворень. Якщо ${\displaystyle \mathbf {X} \sim \mathrm {N} (\mathbf {\mu } ,\Sigma )}$, а ${\displaystyle \mathbf {A} }$ — довільна матриця розмірності ${\displaystyle m\times n}$, то

${\displaystyle \mathbf {A} \mathbf {X} \sim \mathrm {N} \left(\mathbf {A} \mathbf {\mu } ,\mathbf {A} \Sigma \mathbf {A} ^{\top }\right)}$.

Функція густини

Спільна функція густини біваріативного нормального розподілу

Не вироджений випадок

Багатовимірний нормальний розподіл називають "не виродженим" коли його симетрична матриця коваріацій ${\displaystyle {\boldsymbol {\Sigma }}}$ є додатньоозначеною. В такому випадку розподіл має функцію густини:^[1]

${\displaystyle {\begin{aligned}f_{\mathbf {X} }(x_{1},\ldots ,x_{k})&={\frac {\exp \left(-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\end{aligned}}}$

де ${\displaystyle {\mathbf {x} }}$ це k-вимірний вектор стовпець дійсних чисел і ${\displaystyle |{\boldsymbol {\Sigma }}|\equiv \operatorname {det} {\boldsymbol {\Sigma }}}$ це детермінант для ${\displaystyle {\boldsymbol {\Sigma }}}$, відомий також як узагальнена дисперсія. Вищенаведене рівняння спрощується до аналогічного рівняння, що відповідає одновимірному нормальному розподілу якщо ${\displaystyle {\boldsymbol {\Sigma }}}$ є матрицею розміром ${\displaystyle 1\times 1}$ (тобто єдиним дійсним числом).

Циркулярно-симетрична версія комплексного нормального розподілу має дещо відмінну форму.

Кожен окіл ізо-густини—окіл точок в k-вимірному просторі, в кожній з яких буде деяке стале значення густини —є еліпсом або його узагальненням для більших вимірів; оскільки багатовимірний нормальний розподіл є особливим випадком еліптичних розподілів.

В описовій статистиці ${\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}}$ відомо як відстань Махаланобіса, яка задає відстань обраної точки ${\displaystyle {\mathbf {x} }}$ від середнього ${\displaystyle {\boldsymbol {\mu }}}$. Зауважте, що у випадку коли ${\displaystyle k=1}$, розподіл зводиться до одновимірного нормального розподілу, і відстань Махаланобіса зводиться до абсолютного значення стандартної оцінки.

Біваріативний випадок

У 2-вимірному несингулярному випадку (k = rank(Σ) = 2), функція густини імовірності для вектору [X Y]′ є наступною:

${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left[{\frac {(x-\mu _{X})^{2}}{\sigma _{X}^{2}}}+{\frac {(y-\mu _{Y})^{2}}{\sigma _{Y}^{2}}}-{\frac {2\rho (x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right]\right)}$

де ρ — кореляція між X і Y і де ${\displaystyle \sigma _{X}>0}$ і ${\displaystyle \sigma _{Y}>0}$. В такому випадку,

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.}$

У біваріативному випадку, перша еквівалентна умова встановлення нормальності багатовимірного розподілу може бути менш сувора: для того, щоб зробити висновок чи є вектор [X Y]′ біваріативно нормальним достатньо перевірити чи зліченно велика кількість відмінних лінійних комбінацій X і Y є нормально розподілені.^[2]

Біваріативні околи ізо-густини на площині x,y є еліпсами. Із збільшенням абсолютного значення коефіцієнту кореляції ρ, ці околи будуть сплющуватися до наступної прямої :

${\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.}$

Це пояснюється тим, що якщо в даному виразі sgn(ρ) замінити на ρ, воно є найкращим лінійним незміщеним передбаченням^[en] для Y, що задане значенням X.^[3]

Багатовимірна центральна гранична теорема

Нехай ${\displaystyle \xi ^{(1)},\xi ^{(2)},...}$ — послідовність незалежних і однаково розподілених випадкових векторів, кожний з який має середнє ${\displaystyle E\xi ^{(1)}=a}$ і невироджену матрицю коваріацій ${\displaystyle \Sigma }$ . Позначимо через ${\displaystyle S_{n}\xi ^{(1)}+...+\xi ^{(n)}}$ вектор часткових сум. Тоді при ${\displaystyle n\to \infty }$ має місце збіжність розподілів векторів ${\displaystyle \eta ^{(n)}={\frac {S_{n}-na}{\sqrt {n}}}\Rightarrow \eta }$, де ${\displaystyle \eta }$ має розподіл ${\displaystyle N_{O,\Sigma }}$. В умовах багатовимірної центральної граничної теореми розподіл будь-яких неперервних функцій ${\displaystyle g(\eta ^{(n)})}$ збігається до розподілу ${\displaystyle g(\eta )}$. Як ${\displaystyle g(x)}$ нам буде потрібна тільки ${\displaystyle g(x)=\sum x_{i}^{2}=\|x\|^{2}}$.

Наслідок

В умовах багатовимірної центральної граничної теореми має місце збіжність ${\displaystyle \|\eta ^{(n)}\|^{2}\Rightarrow \|\eta \|^{2}}$.

Примітки

1. UIUC, Lecture 21. The Multivariate Normal Distribution [Архівовано 23 червня 2016 у Wayback Machine.], 21.5:"Finding the Density".
2. Hamedani, G. G.; Tata, M. N. (1975). On the determination of the bivariate normal distribution from distributions of linear combinations of the variables. The American Mathematical Monthly. 82 (9): 913—915. doi:10.2307/2318494.
3. Wyatt, John. Linear least mean-squared error estimation (PDF). Lecture notes course on applied probability. Архів оригіналу (PDF) за 10 жовтня 2015. Процитовано 23 січня 2012. [Архівовано 2015-10-10 у Wayback Machine.]