Moment는 Distribution의 형태를 수치로 요약하는 값이다. 1차 Moment는 평균과 연결되고, 2차 중심 Moment는 Variance와 같다. Moment Generating Function(MGF)은 여러 차수의 Moment를 하나의 함수에 모아두는 도구이다.
Moment의 정의
원점을 기준으로 한 차 Moment는
이다. 평균을 기준으로 한 차 중심 Moment는
이다.
1차 원 Moment는 Expectation이고, 2차 중심 Moment는 Variance이다.
3차와 4차 중심 Moment는 각각 비대칭성과 꼬리의 형태를 설명하는 skewness와 kurtosis의 기초가 된다.
MGF의 정의
MGF는 다음과 같이 정의한다.
근처에서 이 Expectation이 유한할 때 MGF가 존재한다고 한다. 지수함수를 Taylor 전개하면
이므로 적절한 조건 아래에서
가 된다. 따라서 번 미분한 뒤 을 대입하면 차 원 Moment를 얻는다.
독립합의 MGF
와 가 독립이면
이다. 합의 Distribution을 찾을 때 MGF가 유용한 이유이다.
Normal Distribution의 MGF
이면
이다. 이를 미분하면
를 얻고, 임을 확인할 수 있다.
Binomial Distribution의 MGF
이면
이다. Binomial Random Variable을 독립 Bernoulli Random Variable의 합으로 나타내면 이 식을 자연스럽게 얻을 수 있다.
MGF의 한계
모든 Distribution이 MGF를 가지는 것은 아니다. 예를 들어 Cauchy Distribution은 Moment 자체가 존재하지 않는다. 또한 MGF가 존재하더라도 주변의 열린 구간에서 유한해야 Distribution을 유일하게 결정하는 성질을 안정적으로 사용할 수 있다.
이 경우 Characteristic Function
을 사용할 수 있다. Characteristic Function은 모든 Random Variable에 대해 존재한다.
정리
Moment는 Distribution의 중심, 퍼짐, 비대칭성 등을 수치화한다. MGF는 지수함수의 Expectation으로 정의되며, 원점에서의 미분으로 Moment를 얻는다. 독립인 Random Variable의 합에서는 MGF가 곱으로 분해된다.
연습 문제
- Bernoulli Distribution의 MGF를 구하고 평균과 Variance를 유도한다.
- 독립인 Poisson Random Variable의 합이 Poisson Distribution을 따름을 MGF로 보인다.
- Exponential Distribution의 MGF가 존재하는 의 범위를 구한다.
풀이
1번
이면
따라서
이고
이다.
2번
독립인 , 에 대해
이다. 독립성이 있으므로
이는 의 MGF이므로
이다.
3번
이면
적분이 수렴하려면 이어야 하므로 MGF는 에서 존재한다.