[Probabilistics] 확률 이론(8강) - Moment와 Moment Generating Function(MGF)
mgf를 이해하고, mgf를 통해 n차 moment를 계산할 수 있습니다.
- 수식이 제대로 보이지 않는다면, 새로고침(F5)을 해주시기 바랍니다.
이번 시간에는 Moment와, Moment를 구할 수 있는 MGF에 대하여 알아보겠습니다.
Moment
적률(moment)은 확률 변수의 분포 모양과 특성을 수치적으로 요약하는 데 사용되는 통계량입니다.
모멘트는 확률 변수의 거듭제곱에 대한 평균값으로 정의되며, 분포의 위치, 퍼짐, 비대칭성, 꼬리등을 정량화할 수 있습니다.
$n$차 moment
확률 변수 $X$의 $n$차 모멘트는 다음과 같이 정의됩니다:
비중심 모멘트(raw moment): \(\mu_n' = \mathbb{E}[X^n]\)
중심 모멘트(central moment): \(\mu_n = \mathbb{E}[(X - \mathbb{E}[X])^n]\)
Examples of moments
| 차수 | 비중심 모멘트 $\mu_n’$ | 중심 모멘트 $\mu_n$ | 의미 |
|---|---|---|---|
| $n = 1$ | $\mathbb{E}[X]$ | 0 | 기댓값 (평균) |
| $n = 2$ | $\mathbb{E}[X^2]$ | $\mathrm{Var}(X)$ | 분산 |
| $n = 3$ | $\mathbb{E}[X^3]$ | 왜도 | 비대칭도(skewness) |
| $n = 4$ | $\mathbb{E}[X^4]$ | 첨도 | 꼬리 두께(kurtosis) |
Role of moments
- 1차 모멘트: 중심 위치 (평균)
- 2차 중심 모멘트: 퍼짐의 정도 (분산)
- 3차 중심 모멘트: 좌우 비대칭성 (왜도)
- 4차 중심 모멘트: 꼬리의 두께와 중심 집중성 (첨도)
Moment Generating Function (MGF)
모멘트 생성 함수(Moment Generating Function, MGF)는 확률 변수의 모든 moment를 계산할 수 있도록 해주는 함수입니다.
확률 변수 $X$의 모멘트 생성 함수 $M_X(t)$는 다음과 같이 정의됩니다.
즉, $e^{tX}$의 기대값을 함수로 표현한 것입니다.
Taylor series
MGF는 테일러 급수 전개(Taylor series)를 가지기 때문에, Taylor series에 대한 설명을 먼저 드리도록 하겠습니다.
함수 $f(t)$가 무한 번 미분 가능하다면, $t = a$ 주변에서 다음과 같이 다항식으로 전개할 수 있습니다:
이것을 Taylor series라고 부릅니다.
또한 Taylor 급수에서 $a = 0$인 경우를 Maclaurin 급수(Maclaurin series)라고 부릅니다. Maclaurin 급수는 Taylor 급수의 특별한 경우라고 보시면 됩니다.
Example: 지수 함수의 Maclaurin series
함수 $f(t) = e^t$의 모든 도함수는 $e^t$이고, $f^{(n)}(0) = 1$입니다. 따라서 다음과 같습니다.
\[e^t = 1 + t + \frac{t^2}{2!} + \frac{t^3}{3!} + \cdots = \sum_{n=0}^{\infty} \frac{t^n}{n!}\]MGF와 Maclaurin 급수의 관계
MGF는 다음과 같이 정의됩니다.
\[M_X(t) = \mathbb{E}[e^{tX}]\]
지수 함수 $e^{tX}$를 Maclaurin 급수로 전개하면 다음과 같습니다.
그리고 기댓값 $\mathbb{E}$를 항별로 적용하면 다음과 같습니다.
\[M_X(t) = \sum_{n=0}^{\infty} \frac{t^n}{n!} \mathbb{E}[X^n]\]위 식에서 $\mathbb{E}[X^n]$은 $X$의 $n^{th}$ moment입니다. 따라서 MGF는 모든 모멘트 정보를 포함하고 있습니다!
또한 $n$차 모멘트는 MGF를 $t = 0$에서 $n$번 미분하여 얻을 수 있습니다.
Example of MGF
표준 정규분포 $X \sim \mathcal{N}(0, 1)$의 MGF는 다음과 같습니다.
\[M_X(t) = \mathbb{E}[e^{tX}] = \int_{-\infty}^{\infty} e^{t x} \cdot f_X(x) \, dx = e^{t^2/2} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{- \frac{1}{2}(x - t)^2} dx = e^{t^2/2}\]이를 테일러 전개하면 $\mathbb{E}[X^2] = 1$, $\mathbb{E}[X^4] = 3$ 등 moment를 유도할 수 있습니다.
이번에는 binomial distribution의 MGF를 구해보겠습니다.
풀이:
확률 변수 $X \sim \mathrm{Bin}(n, p) $일 때, moment generating function (MGF)은 다음과 같이 정의됩니다.
\[\begin{aligned} M_X(t) &= \mathbb{E}[e^{tX}] \\ &= \sum_{x=0}^{n} e^{tx} \cdot P(X = x) \\ &= \sum_{x=0}^{n} e^{tx} \cdot \binom{n}{x} p^x (1 - p)^{n - x} \\ &= \sum_{x=0}^{n} \binom{n}{x} (p e^t)^x (1 - p)^{n - x} \\ &= \sum_{x=0}^{n} \binom{n}{x} a^x b^{n - x} \quad \text{where } a = p e^t, \, b = 1 - p \\ &= (a + b)^n \quad \text{(by the binomial theorem)} \\ &= (p e^t + 1 - p)^n \end{aligned}\]이를 이용하여 $\mathbb{E}(X)$를 구해보겠습니다.
\[\begin{aligned} \text{Given } M_X(t) &= (1 - p + p e^t)^n \\ \\ \text{Then } \mathbb{E}[X] &= M_X'(0) \\ &= \left. \frac{d}{dt} (1 - p + p e^t)^n \right|_{t = 0} \\ \\ &= \left. n(1 - p + p e^t)^{n - 1} \cdot p e^t \right|_{t = 0}\\ \\ &= n(1 - p + p)^{n - 1} \cdot p \cdot 1 \\ &= n \cdot 1^{n - 1} \cdot p \\ &= np \end{aligned}\]
이전 강의에서 binomial distribution의 기댓값은 $np$라는 것을 배웠었죠? 똑같이 나왔음을 확인할 수 있습니다.
Conclusion
이번 시간에는 moment와 MGF에 대해서 배웠습니다. 또한 binomial distribution의 mgf를 구한 후, 이를 활용하여 미분 후 $t$에 $0$을 대입하여 기댓값을 구하는 과정까지 보여드렸습니다.
이전 강의(6강, 7강)에서 많은 분포들을 다루었는데요, 연습 문제를 통해 모든 분포에 대한 mgf를 직접 구해보시는 것을 추천드립니다. 이번 강의에서는 많은 양의 연습 문제를 제공할테니, 꼭 모든 문제를 다 풀어보시고 정답과 비교해보세요. 이번 강의는 여기서 마치겠습니다.
Practice
Q1. Poisson distribution의 MGF를 구하시오.
Q2. Exponential distribution의 MGF를 구하시오.
Q3. Gamma distribution의 MGF를 구하시오.
Q4. Beta distribution의 MGF를 구하시오.
Q5. $X \sim \mathcal{N}(0, 1) $일 때, $\mu_4’$를 구하시오.
Answer
추후 업로드 예정