여러 Random Variable을 동시에 관찰하면 각각의 Distribution만으로는 변수 사이의 관계를 알 수 없다. 두 변수의 값이 함께 나타나는 방식을 기록한 것이 Joint Distribution이다.

다변량 Random Variable

두 Random Variable 를 묶으면 표본공간에서 평면으로 가는 함수가 된다.

예를 들어 한 사람의 키를 , 몸무게를 라고 하면, 각 관측 결과는 평면 위의 한 점 에 대응한다.

Joint PMF

가 이산형이면 Joint PMF는 두 값이 동시에 나타날 확률이다.

다음 조건을 만족한다.

Joint PDF

가 연속형이면 Joint PDF 를 사용한다. 영역 에 들어갈 확률은 이중적분으로 계산한다.

Joint PDF의 함수값 자체는 확률이 아니며, 작은 영역 아래의 부피가 확률에 해당한다.

Joint CDF

Joint CDF는 두 변수가 각각 주어진 값 이하일 누적 확률이다.

Joint PDF가 존재하고 충분히 매끄러우면

이다.

Marginal Distribution

Marginal Distribution은 다른 변수를 합하거나 적분하여 제거하고 한 변수만 남긴 Distribution이다.

이산형에서는

이고, 연속형에서는

이다.

지지집합의 중요성

Joint Distribution에서는 가능한 의 영역, 즉 지지집합을 정확히 파악해야 한다. 예를 들어

이고 그 밖에서 0이라고 하자. 이 지지집합은 단위 정사각형 전체가 아니라 삼각형이다.

가 주어졌을 때 의 범위는 이므로

이다. 반대로 가 주어졌을 때 의 범위는 이므로

이다.

조건부 Distribution

라는 정보가 주어졌을 때 의 Distribution은 조건부 Distribution이다.

이산형에서는

이고, 연속형에서는

이다. 분모가 양수인 범위에서 정의한다.

독립성

와 가 독립이라는 것은 한 변수에 대한 정보가 다른 변수의 Distribution을 바꾸지 않는다는 뜻이다. Joint Distribution이 Marginal Distribution의 곱으로 분해되는지로 확인한다.

또는

독립이면

가 성립한다. 특히 이다. 그러나 공분산이 0이라고 해서 항상 독립인 것은 아니다.

정리

Joint Distribution은 여러 Random Variable이 함께 움직이는 구조를 나타낸다. Marginal Distribution은 다른 변수를 제거해 얻고, 조건부 Distribution은 다른 변수의 값이 주어졌을 때 얻는다. 독립성은 Joint Distribution이 Marginal Distribution의 곱으로 분해되는지로 판단한다.

연습 문제

  1. 삼각형 지지집합 에서 Marginal PDF를 다시 계산한다.
  2. Joint PDF가 Marginal PDF의 곱으로 분해되는지 확인해 독립성을 판정한다.
  3. 공분산이 0이지만 독립이 아닌 두 Random Variable의 예를 찾는다.

풀이

1번

Joint PDF는 삼각형 영역 에서 2이다. 를 고정하면 는 0부터 까지 움직이므로

이다. 반대로 를 고정하면 는 부터 1까지 움직이므로

이다.

2번

Marginal PDF의 곱은

이다. 이는 삼각형 지지집합에서 Joint PDF인 2와 일반적으로 같지 않다. 또한 독립인 연속 Random Variable의 지지집합은 두 Marginal 지지집합의 곱인 직사각형 형태여야 하지만, 여기서는 삼각형이다. 따라서 와 는 독립이 아니다.

3번

이고 라고 두자. 대칭성에 의해

이므로

이다. 그러나 는 가 주어지면 완전히 결정되는 함수이므로 두 변수는 독립이 아니다.