중심 극한 정리

파일:Clt in action.gif

매우 불규칙한 분포도 충분히 많은 수를 더하면 중심극한정리에 따라 결국 정규분포로 수렴한다.

파일:Somme tirage 1 a 6d6 et loi normale.svg

주사위를 n개 흔들 때 나오는 눈의 합 S n = X 1 + ... + X n의 분포가 n이 확대됨에 따라 정규 분포에 의한 근사치에 접근한 모습

확률론과 통계학에서 중심 극한 정리(中心 極限 定理, 영어: central limit theorem, 약자 CLT)는 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리이다. 수학자 피에르시몽 라플라스는 1774년에서 1786년 사이의 일련의 논문에서 이러한 정리의 발견과 증명을 시도하였다. 확률과 통계학에서 큰 의미가 있으며 실용적인 면에서도 품질관리, 식스 시그마에서 많이 이용된다.

정리

중심극한정리는 주어진 조건에 따라서 여러 가지가 있다.

린데베르그-레비 중심극한정리

가장 많이 쓰이는 중심극한정리는 린데베르그–레비 중심극한정리(영어: Lindeberg–Lévy central limit theorem)이며, 같은 분포를 가지는 독립 확률 변수에 대해 다룬다. 이 정리는 다음과 같다. 만약 확률 변수 $X_1,X_2,\cdots$들이

1. 서로 독립적이고,
2. 같은 확률 분포를 가지고,
3. 그 확률 분포의 기댓값 μ와 표준편차σ가 유한하다면,

평균 $S_n=(X_1+\cdots +X_n)/n$의 분포는 기댓값 μ, 표준편차 $\sigma /\sqrt{n}$인 정규분포 N(μ,σ²/n)에 분포수렴한다. 즉,

$\sqrt{n}\left(\right(\frac{1}{n}\sum _{i=1}^n{X}_i)-\mu )\stackrel{d}{\to }𝒩(0,{\sigma }^2)$

가 성립한다.

랴푸노프 중심극한정리

알렉산드르 랴푸노프가 증명한 랴푸노프 중심극한정리(영어: Lyapunov central limit theorem)는 기본 정리에서 같은 분포를 가지는 조건을 다음과 같이 완화하였다. 만약 각 확률변수 $X_i$가

1. 서로 독립적이고,
2. 각각 유한한 평균과 분산 ${\mu }_i,{\sigma }_i^2$를 가지며,
3. (랴푸노프 조건) $s_i^2=\sum _{j\le i}{\sigma }_j^2$를 정의하면 어떤 양의 실수 $\delta$에 대하여
   $\underset{n\to \mathrm{\infty }}{\lim }\frac{1}{s_n^{2+\delta }}\sum _{i=1}^n\mathrm{E}[|X_i-{\mu }_i{|}^{2+\delta }]=0$
   가 성립할 때,

$\sum _i(X_i-{\mu }_i)/s_i$의 분포는 n이 커질수록 표준정규분포에 분포수렴한다.

$\frac{1}{s_n}\sum _{i=1}^n(X_i-{\mu }_i)\stackrel{\mathrm{d}}{\to }𝒩(0,1)$

린데베르그 중심극한정리

린데베르그 중심극한정리(영어: Lindeberg central limit theorem)는 랴푸노프 중심극한정리의 조건을 조금 더 완화한 것이다. 이 경우, 만약 각 확률변수 $X_i$가

1. 서로 독립적이고,
2. 각각 유한한 평균과 분산 ${\mu }_i,{\sigma }_i^2$를 가지며,
3. (린데베르그 조건) 다음 공식이 성립할 때,
   $\underset{n\to \mathrm{\infty }}{\lim }\frac{1}{s_n^2}\sum _{i=1}^n\mathrm{E}[(X_i-{\mu }_i{)}^2\cdot {\mathrm{𝟏}}_{\{|X_i-{\mu }_i|>\epsilon s_n\}}]=0$

랴푸노프 중심극한정리와 같은 결론을 내릴 수 있다. 여기에서 ${\mathrm{𝟏}}_{\{\cdots \}}$는 지시 함수이다.

마팅게일 중심극한정리

마팅게일의 경우, 각 $X_i$들이 독립 변수가 아니므로 위 정리들은 성립하지 않는다. 다만, 이 경우에도 다음과 같은 마팅게일 중심극한정리(영어: martingale central limit theorem)가 성립한다. 만약 각 확률변수 $X_i$가

1. 마팅게일을 이루며,
2. $n\to \mathrm{\infty }$인 극한에서 다음이 성립하고,
   $\frac{1}{n}\sum _{i=1}^n\mathrm{E}((X_i-X_{i-1}{)}^2|X_1,\dots ,X_{i-1})\to 1$
3. 모든 $ϵ>0$에 대하여 $n\to \mathrm{\infty }$인 극한에서 다음이 성립할 경우,
   $\frac{1}{n}\sum _{i=1}^n\mathrm{E}((X_i-X_{i-1}{)}^2;|X_i-X_{i-1}|>\epsilon \sqrt{n})\to 0$

$X_n/\sqrt{n}$은 $n\to \mathrm{\infty }$인 극한에서 표준정규분포로 분포수렴한다.

$X_n/\sqrt{n}\stackrel{\mathrm{d}}{\to }𝒩(0,1)$

여기서 $\mathrm{E}(A|B)$는 조건부 기댓값, $\mathrm{E}(A;B)$는 제한 기댓값(영어: restricted expectation)이다.

이항분포의 예

사건이 일어날 확률을 $p$ , 일어나지 않을 확률을 $q$라 할 때, $N$번의 시행중에서 사건이 $n$번 일어날 확률은 다음과 같다.

$\mathrm{P}(n)=(\genfrac{}{}{0ex}{}{N}{n})p^n{q}^{(N-n)}$

이 확률분포가 결국 $N$이 상당히 커지면, 이 확률분포는 거의 연속적이라고 볼 수 있다.

연속적인 분포에서의 $n=\overline{n}$에서 연속적인 확률밀도함수가 극대값을 가지게 된다면, 다음의 식을 만족하게 된다.

${\left(\frac{\partial \mathrm{P}}{\partial n}\right)}_{n=\overline{n}}=0$

로그 함수는 단조증가 함수이므로, 다음의 식도 만족하게 된다.

${\left(\frac{\partial \ln \mathrm{P}}{\partial n}\right)}_{n=\overline{n}}=0$

충분히 작은 $\eta$에 대하여 $n\equiv \overline{n}+\eta$라 정의하고 $\overline{n}$근처에서 $\eta$에 대하여 테일러 전개하면 다음과 같다.

$\ln \mathrm{P}(n)=\ln \mathrm{P}(\overline{n})+B_1\eta +\frac{1}{2}{B}_2{\eta }^2+\frac{1}{6}{B}_3{\eta }^3+\dots$

여기서 이미 $B_1={\left(\frac{\partial \ln \mathrm{P}}{\partial n}\right)}_{n=\overline{n}}$이므로, 0이 된다는 걸 알 수 있다. 또한 $\eta$가 충분히 작으므로, 다음과 같이 $\eta$에 대한 2차식으로 근사할 수 있다.

$\ln \mathrm{P}(n)\approx \ln \mathrm{P}(\overline{n})+\frac{1}{2}{B}_2{\eta }^2$

양변에 로그를 풀어서 원래 모양으로 만들어주면 다음과 같다.

$\mathrm{P}(n)=\mathrm{P}(\overline{n})e^{\frac{1}{2}{B}_2{(n-\overline{n})}^2}$

여기서, ${\left(\frac{\partial \ln \mathrm{P}}{\partial n}\right)}_{n=\overline{n}}=0$ 이므로 이것을 바탕으로 스털링 근사를 이용하여 $\overline{n}$ 을 구해보면,

$\frac{\partial \ln \mathrm{P}}{\partial n}=-\ln n+\ln (N-n)+\ln p-\ln q$

$\frac{(N-\overline{n})}{\overline{n}}\frac{p}{q}=1$

$\therefore \overline{n}=Np=m$

$\overline{n}$은 평균이 됨을 알 수 있다.

이제 $B_2$를 구해보면, 다음을 얻는다.

$\frac{{\partial }^2\ln \mathrm{P}}{{\partial }^{2}n}=-\frac{1}{n}-\frac{1}{N-n}$

$B_2=-\frac{1}{Np}-\frac{1}{Nq}=-\frac{p+q}{Npq}=-\frac{1}{Npq}=-\frac{1}{{\sigma }^2}$

그렇다면 확률밀도함수는 다음과 같이 쓸 수 있다.

$\mathrm{P}(n)=A{e}^{-\frac{(n-m{)}^2}{2{\sigma }^2}}$

이 확률밀도 함수를 표준화시키면 최종적인 확률밀도 함수를 얻을 수 있다.

$\mathrm{P}(n)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(n-m{)}^2}{2{\sigma }^2}}$

따라서 $\mathrm{B}(N,p)$는 $N$이 충분히 커질 때(보통 Np>5, Nq>5일 때), $\mathrm{Z}(Np,Npq)$로 근사할 수 있다.

같이 보기

• 벤포드의 법칙
• 정규 분포
• 표준 오차

참고 문헌

• Bauer, Heinz (2001). 《Measure and integration theory》 (영어). Berlin: De Gruyter. ISBN 3110167190. 
• Billingsley, Patrick (1995). 《Probability and measure》 Thi판 (영어). John Wiley & sons. ISBN 0-471-00710-2. 
• Durrett, Richard (2004). 《Probability: theory and examples》 4판 (영어). Cambridge University Press. ISBN 0521765390. 
• Bradley, Richard (2007). 《Introduction to strong mixing conditions》 (영어). Heber City, Utah, U.S.: Kendrick Press. ISBN 0-9740427-9-X. 
• Bradley, Richard (2005). “Basic properties of strong mixing conditions. A survey and some open questions” (영어). 《Probability Surveys》 2: 107–144. arXiv:math/0511078v1. doi:10.1214/154957805100000104. 

외부 링크

• Prokhorov, Yu.V. (2001). “Central limit theorem” (영어). 《Encyclopedia of Mathematics》. Springer-Verlag. ISBN 978-1-55608-010-4. 
• Weisstein, Eric Wolfgang. “Central limit theorem” (영어). 《Wolfram MathWorld》. Wolfram Research. 
• 중심극한정리의 애니메이션
• 자바로 구현한 중심극한정리
• Central Limit Theorem 다양한 변수를 주어 인터렉티브 실험하는 중심극한정리