최대가능도 방법

최대가능도방법 (最大可能度方法, 영어: maximum likelihood method) 또는 최대우도법(最大尤度法)은 어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법이다. 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도를 최대로 만드는 모수를 선택하는 방법이다. 점추정 방식에 속한다.

방법

어떤 모수 $\theta$로 결정되는 확률변수들의 모임 $D_{\theta }=(X_1,X_2,\cdots ,X_n)$이 있고, $D_{\theta }$의 확률 밀도 함수나 확률 질량 함수가 $f$이고, 그 확률변수들에서 각각 값 $x_1,x_2,\cdots ,x_n$을 얻었을 경우, 가능도 $ℒ(\theta )$는 다음과 같다.

$ℒ(\theta )=f_{\theta }(x_1,x_2,\cdots ,x_n)$

여기에서 가능도를 최대로 만드는 $\theta$는

$\hat{\theta }=\underset{\theta }{\mathrm{argmax}}ℒ(\theta )$

가 된다.

이때 $X_1,X_2,\cdots ,X_n$이 모두 독립적이고 같은 확률분포를 가지고 있다면, $ℒ$은 다음과 같이 표현이 가능하다.

$ℒ(\theta )=\prod _i{f}_{\theta }(x_i)$

또한, 로그함수는 단조 증가하므로, $ℒ$에 로그를 씌운 값의 최댓값은 원래 값 $\hat{\theta }$과 같고, 이 경우 계산이 비교적 간단해진다.

${ℒ}^{*}(\theta )=\log ℒ(\theta )=\sum _i\log f_{\theta }(x_i)$

예제: 가우스 분포

평균 $\mu$와 분산 ${\sigma }^2$의 값을 모르는 정규분포에서 $x_1,x_2,\cdots ,x_n$의 값을 표집하였을 때, 이 값들을 이용하여 원래 분포의 평균과 분산을 추측한다. 이 경우 구해야 하는 모수는 $\theta =(\mu ,\sigma )$이다. 정규분포의 확률 밀도 함수가

$f_{\mu ,\sigma }(x_i)=\frac{1}{\sqrt{2\pi }\sigma }\exp (\frac{-(x_i-\mu {)}^2}{2{\sigma }^2})$

이고, $x_1,x_2,\cdots ,x_n$가 모두 독립이므로

$ℒ(\theta )=\prod _i{f}_{\mu ,\sigma }(x_i)=\prod _i\frac{1}{\sqrt{2\pi }\sigma }\exp (\frac{-(x_i-\mu {)}^2}{2{\sigma }^2})$

양변에 로그를 씌우면

${ℒ}^{*}(\theta )=-\frac{n}{2}\log 2\pi -n\log \sigma -\frac{1}{2{\sigma }^2}\sum _i(x_i-\mu {)}^2$

가 된다. 식의 값을 최대화하는 모수를 찾기 위해, 양변을 $\mu$로 각각 편미분하여 0이 되는 값을 찾는다.

$\frac{\partial }{\partial \mu }{ℒ}^{*}(\theta )=\frac{1}{{\sigma }^2}\sum _i(x_i-\mu )$

$=\frac{1}{{\sigma }^2}(\sum _i{x}_i-n\mu )$

따라서 이 식을 0으로 만드는 값은 $\hat{\mu }=(\sum _i{x}_i)/n$으로, 즉 표집한 값들의 평균이 된다. 마찬가지 방법으로 양변을 $\sigma$로 편미분하면

$\frac{\partial }{\partial \sigma }{ℒ}^{*}(\theta )=-\frac{n}{\sigma }+\frac{1}{{\sigma }^3}\sum _i(x_i-\mu {)}^2$

따라서 이 식을 0으로 만드는 값은 다음과 같다.

${\sigma }^2=\sum _i(x_i-\mu {)}^2/n$

참고 문헌

• Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 2판 (영어). Springer. ISBN 0-387-98502-6.  CS1 관리 - 추가 문구 (링크)
• Shao, Jun (1998). 《Mathematical Statistics》 (영어). New York: Springer. ISBN 0-387-98674-X. 

같이 보기

• 가능도
• 추정량
• 기댓값 최대화 알고리즘

외부 링크

• “Maximum-likelihood method” (영어). 《Encyclopedia of Mathematics》. Springer-Verlag. 2001. ISBN 978-1-55608-010-4. 
• “Likelihood equation” (영어). 《Encyclopedia of Mathematics》. Springer-Verlag. 2001. ISBN 978-1-55608-010-4. 
• Weisstein, Eric Wolfgang. “Maximum likelihood” (영어). 《Wolfram MathWorld》. Wolfram Research. 
• Weisstein, Eric Wolfgang. “Maximum likelihood estimator” (영어). 《Wolfram MathWorld》. Wolfram Research.