확률 변수의 수렴

확률변수의 수렴에는 여러 가지의 정의가 존재한다.

분포 수렴

확률변수 ${\displaystyle X_{n}}$이 균등분포 ${\displaystyle U(0,1)}$를 따를 때, 중심극한정리에 따르면 ${\displaystyle Z_{n}:=\sum _{i}X_{i}/{\sqrt {n}}}$은 정규분포로 분포수렴한다.

분포 수렴(convergence in distribution), 약한 수렴(weak convergence)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 확률변수 ${\displaystyle X_{1},X_{2},\cdots }$와 각각의 누적 분포 함수 ${\displaystyle F_{1},F_{2},\cdots }$에 대하여, 어떤 확률변수 ${\displaystyle X}$와 와 확률 분포 함수 ${\displaystyle F}$가 존재하여,

모든 실수 ${\displaystyle x}$에 대하여 ${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x)}$

가 성립할 경우, ${\displaystyle \{X_{n}\}}$은 ${\displaystyle X}$로 분포수렴한다고 정의한다. 기호로는

${\displaystyle {\begin{aligned}&X_{n}\ {\xrightarrow {d}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {D}}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {L}}}\ X,\ \ X_{n}\ {\xrightarrow {d}}\ {\mathcal {L}}_{X},\\&X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\end{aligned}}}$

등이 사용된다. 여기에서 ${\displaystyle {\mathcal {L}}}$은 확률 분포를 가리키며, 예를 들어 ${\displaystyle X}$가 표준정규분포라면 ${\displaystyle X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)}$와 같이 표기할 수 있다.

분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다.

확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 ${\displaystyle A\subseteq \mathbb {R} ^{k}}$가 ${\displaystyle \Pr[X\in \partial A]=0}$일 때(continuity set),

에 대하여 ${\displaystyle \lim _{n\to \infty }\Pr[X_{n}\in A]=\Pr[X\in A]}$

가 성립한다면 ${\displaystyle X_{n}}$은 ${\displaystyle X}$로 분포수렴한다.

성질

• 레비 연속성 정리(Lévy's continuity theorem): 확률변수 ${\displaystyle X_{n}}$가 ${\displaystyle X}$로 분포수렴하는 것과 ${\displaystyle X_{n}}$의 특성함수가 ${\displaystyle X}$의 특성함수로 점마다 수렴하는 것은 동치이다.
• 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 가령, ${\displaystyle f_{n}(x)=(1-\cos(2\pi nx)){1}_{\{x\in (0,1)\}}}$에 대응하는 확률변수는 균등분포 ${\displaystyle U(0,1)}$로 수렴하지만, ${\displaystyle f_{n}}$은 수렴하지 않는다.
• 확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다.
• Portmanteau theorem: 분포수렴은 다음 중 하나와 동치이다.
  • 모든 유계 연속 함수 ${\displaystyle f}$에 대해 ${\displaystyle E[f(X_{n})]\to E[f(X)]}$
  • 모든 유계 립시츠 연속 함수 ${\displaystyle f}$에 대해 ${\displaystyle E[f(X_{n})]\to E[f(X)]}$
  • 위로 유계이고 위에서 반연속인 함수 ${\displaystyle f}$에 대해 ${\displaystyle \lim \sup[Ef(X_{n})]\leq E[f(x)]}$
  • 아래로 유계이고 아래에서 반연속인 함수 ${\displaystyle f}$에 대해 ${\displaystyle \lim \inf[Ef(X_{n})]\geq E[f(x)]}$
  • 모든 닫힌 집합 ${\displaystyle C}$에 대해 ${\displaystyle \lim \sup \Pr[X_{n}\in C]\leq \Pr[X\in C]}$
  • 모든 열린 집합 ${\displaystyle U}$에 대해 ${\displaystyle \lim \inf \Pr[X_{n}\in U]\geq \Pr[X\in U]}$
  • 모든 ${\displaystyle X}$의 continuity set에 대해 ${\displaystyle \lim \Pr[X_{n}\in A]=\Pr[X\in A]}$

확률 수렴

확률 수렴(convergence in probability)은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다.

확률변수 ${\displaystyle X_{1},X_{2},\cdots }$와 ${\displaystyle X}$에 대하여, 모든 ${\displaystyle \epsilon >0}$에 대해

${\displaystyle \lim _{n\to \infty }\Pr {\big (}|X_{n}-X|\geq \varepsilon {\big )}=0}$

가 성립할 때, ${\displaystyle \{X_{n}\}}$은 ${\displaystyle X}$로 확률 수렴한다고 정의한다.

확률 수렴의 표기는 다음과 같다.

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X,\ \ X_{n}\ {\xrightarrow {P}}\ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X}$

정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간 ${\displaystyle (S,d)}$가 주어졌을 때, 모든 ${\displaystyle \varepsilon >0}$에 대하여

${\displaystyle \Pr {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0}$

가 성립하는 경우 확률 수렴한다고 정의한다.

성질

• 거의 확실한 수렴은 확률 수렴을 포함한다.
  • 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다.
• 확률 수렴은 분포 수렴을 포함한다.
  • 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다.
• (연속 사상 정리 영어: continuous mapping theorem) 임의의 연속 함수 ${\displaystyle g}$에 대해, ${\displaystyle X_{n}}$이 ${\displaystyle X}$로 확률 수렴한다면 ${\displaystyle g(X_{n})}$은 ${\displaystyle g(X)}$로 확률 수렴한다.

거의 확실한 수렴

거의 확실한 수렴(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다.

확률 공간 ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ 위의 확률변수 ${\displaystyle X_{1},X_{2},\cdots }$와 ${\displaystyle X}$에 대하여,

${\displaystyle \operatorname {Pr} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1}$

이 성립할 경우, ${\displaystyle \{X_{n}\}}$은 ${\displaystyle X}$로 거의 확실하게 수렴한다고 정의한다. 이 조건은 다음과 동치이다.

${\displaystyle \operatorname {Pr} {\Big (}\omega \in \Omega$ :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Big )}=1}

즉, 각 ${\displaystyle \omega }$에 대하여 거의 어디서나 수렴한다는 의미이다.

거의 확실한 수렴은 ${\displaystyle X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X}$로 표기한다.

성질

• 거의 확실한 수렴은 확률수렴, 분포수렴을 포함한다.

확실한 수렴

확실한 수렴(sure convergence)은 확률변수가 모든 점마다 수렴하는 것을 의미한다.

확률공간 ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ 위의 확률변수 ${\displaystyle X_{1},X_{2},\cdots }$와 ${\displaystyle X}$에 대하여

${\displaystyle \lim _{n\rightarrow \infty }X_{n}(\omega )=X(\omega ),\,\,\forall \omega \in \Omega }$

가 성립할 경우, ${\displaystyle \{X_{n}\}}$은 ${\displaystyle X}$로 확실하게 수렴한다고 정의한다.

같이 보기

• 측도 수렴 함수열