행렬 는 벡터를 다른 벡터로 보내는 Linear Transformation이다. 일반적인 벡터에 를 곱하면 크기와 방향이 모두 변한다.
그러나 일부 특별한 방향의 벡터는 행렬을 곱해도 같은 직선 위에 남는다. 길이만 일정한 비율로 늘어나거나 줄어들며, 비율이 음수이면 반대 방향을 향한다.
이처럼 방향이 보존되는 nonzero vector를 Eigenvector라고 하고, 그때의 비율을 Eigenvalue라고 한다.
Eigenvalue와 Eigenvector는 복잡한 Linear Transformation 안에서 단순한 크기 변화로 작용하는 특별한 방향을 찾는 개념이다.
기하학적 의미
이면 와 는 같은 직선 위에 있다.
- : 같은 방향으로 길이가 늘어난다.
- : 같은 방향으로 길이가 줄어든다.
- : 방향이 반대로 바뀌며 크기가 변한다.
- : nonzero vector가 zero vector로 보내진다.
- : 벡터가 변하지 않는다.
Eigenvector는 행렬이 특별하게 취급하는 방향이고, Eigenvalue는 그 방향에서의 확대·축소 비율이다.
Zero Vector가 제외되는 이유
zero vector는 모든 에 대해
을 만족한다. 이를 Eigenvector로 허용하면 모든 scalar가 Eigenvalue가 되어 행렬의 특성을 구분할 수 없다. 따라서 Eigenvector는 반드시 nonzero vector여야 한다.
다만 Eigenvalue는 0일 수 있다. 이 경우 어떤 nonzero vector가
을 만족하므로 가 nontrivial하다. 따라서
이다.
Characteristic Equation
Eigenvalue를 구하기 위해 정의식을 정리한다.
Eigenvector는 nonzero이므로 이 동차연립방정식은 nontrivial solution을 가져야 한다. 따라서 는 invertible하지 않아야 한다.
이를 Characteristic Equation이라고 하고
를 Characteristic Polynomial이라고 한다. Characteristic Polynomial의 root가 Eigenvalue이다.
계산 과정
- 를 만든다.
- 을 풀어 Eigenvalue를 구한다.
- 각 Eigenvalue에 대해 을 푼다.
- Null Space의 Basis를 구한다. 이 Basis vector들이 기본 Eigenvector가 된다.
2×2 예제
Eigenvalue
Characteristic Equation은
이고 정리하면
이다. 따라서
이다.
λ=-1의 Eigenvector
이므로 이다. 따라서
이다.
λ=2의 Eigenvector
이므로 이다. 따라서
이다.
Eigenspace
Eigenvalue 에 대응하는 모든 Eigenvector와 zero vector를 모은 공간이 Eigenspace이다.
Eigenspace는 하나의 벡터가 아니라 해당 Eigenvalue에 대응하는 모든 방향을 포함하는 Subspace이다. Eigenvector의 nonzero Scalar Multiple도 같은 Eigenvalue의 Eigenvector이다.
Algebraic Multiplicity
Characteristic Polynomial에서 Eigenvalue가 root로 반복되는 횟수를 Algebraic Multiplicity라고 한다.
이면 의 Algebraic Multiplicity는 2이고 의 Algebraic Multiplicity는 1이다.
행렬의 Characteristic Polynomial은 차이므로 복소수 범위에서 multiplicity를 포함해 세면 Eigenvalue는 총 개이다. 실수 행렬의 Eigenvalue가 반드시 실수인 것은 아니다.
Geometric Multiplicity
Eigenvalue 의 Eigenspace Dimension을 Geometric Multiplicity라고 한다.
이는 해당 Eigenvalue에서 Linearly Independent한 Eigenvector를 몇 개 얻을 수 있는지 나타낸다.
항상
이다.
중복된 Eigenvalue 예제
의 Characteristic Polynomial은
이다.
에서는
이므로 이지만 이다.
에서는
이다. 전체적으로 Linearly Independent한 Eigenvector를 두 개만 얻으므로 이 행렬은 diagonalizable하지 않다.
서로 다른 Eigenvalue의 Eigenvector
서로 다른 Eigenvalue에 대응하는 Eigenvector들은 Linearly Independent하다.
두 Eigenvalue 에 대해
라고 하자. 이라고 가정한다.
양변에 를 곱한 식과 원래 식에 을 곱한 식을 빼면
이다. 이고 이므로 이고, 다시 원래 식에서 이다.
따라서 서로 다른 Eigenvalue가 개인 행렬은 반드시 diagonalizable하다.
행렬의 거듭제곱
이면
이고 이를 반복하면
이다. 가 invertible이면 음의 정수에 대해서도
가 성립한다.
앞의 두 Eigenvector가 의 Basis를 이루므로 임의의 벡터는
로 쓸 수 있다. 그러면
이다. 복잡한 행렬의 거듭제곱이 scalar의 거듭제곱 계산으로 바뀐다.
Diagonalization
가 개의 Linearly Independent Eigenvector 을 가진다고 하자.
Eigenvector를 column으로 둔 행렬을
라고 하고, Eigenvalue를 대각성분으로 둔 행렬을
라고 한다.
각 column에 대해 이므로
이다. 는 invertible하므로
또는
을 얻는다. 이를 Diagonalization이라고 한다.
Diagonalization의 의미
는 표준좌표를 Eigenvector Basis의 좌표로 바꾸고, 는 각 Eigenvector 방향을 해당 Eigenvalue만큼 확대·축소한다. 마지막 는 다시 원래 좌표계로 돌아오게 한다.
즉, 복잡한 행렬 도 Eigenvector Basis에서는 단순한 대각 방향의 scaling으로 보인다.
Diagonalizable 조건
행렬이 diagonalizable하기 위한 필요충분조건은 개의 Linearly Independent Eigenvector를 가지는 것이다.
- 서로 다른 Eigenvalue가 개이면 반드시 diagonalizable하다.
- 중복된 Eigenvalue가 있어도 각 Eigenvalue에서 이면 diagonalizable할 수 있다.
- 어떤 Eigenvalue에서 이면 필요한 Eigenvector 수가 부족하므로 diagonalizable하지 않다.
Diagonalization 예제
앞의 행렬에 대해
이다. 따라서
이고
이다. Diagonal Matrix의 거듭제곱은
처럼 대각성분만 거듭제곱하면 된다.
정리
- Eigenvector는 행렬을 곱해도 방향이 보존되는 nonzero vector이다.
- Eigenvalue는 그 방향에서의 확대·축소·반전 비율이다.
- Eigenvalue는 으로 구한다.
- Eigenspace는 이다.
- 이다.
- 개의 Linearly Independent Eigenvector가 있으면 로 diagonalize할 수 있다.
- Diagonalization을 이용하면 로 행렬의 거듭제곱을 단순하게 계산할 수 있다.
확인 문제
1
다음 행렬의 Eigenvalue와 각 Eigenspace의 Basis를 구한다.
2
다음 행렬이 diagonalizable한지 판단한다.
3
다음 행렬과 벡터에 대해 를 구한다.
풀이
1번
이므로 Eigenvalue는 이다.
일 때 이므로
이다. 일 때 이므로
이다. 서로 다른 두 Eigenvalue에 대응하는 두 Eigenvector가 있으므로 diagonalizable하다.
2번
이므로 유일한 Eigenvalue는 이고 Algebraic Multiplicity는 2이다.
이므로 이고
이다. Geometric Multiplicity가 1로 Algebraic Multiplicity보다 작으므로 diagonalizable하지 않다.
3번
Eigenvector와 Eigenvalue는
이다. 벡터를 분해하면
이다. 따라서
이다.