Spectral Theorem은 Real Symmetric Matrix를 Orthonormal Eigenbasis에서 diagonal form으로 표현한다.
여기서
의 column들은 Orthonormal Eigenvector이고
이다.
Spectral Decomposition
행렬곱을 column 단위로 전개하면
이다. 이를 Spectral Decomposition이라고 한다.
각 항
는 가 만드는 1차원 Eigenspace 위로 Projection하는 Matrix이다.
A의 작용을 Projection의 합으로 보기
임의의 벡터 에 대해
이다.
이 식은 의 작용을 다음 과정으로 설명한다.
- 에서 각 Eigenvector 방향의 component를 추출한다.
- 각 component를 Eigenvalue만큼 확대·축소하거나 반전한다.
- 모든 방향의 결과를 다시 더한다.
Spectral Projection의 성질
Orthonormal Eigenvector에 대해
이다.
또한 이면
이고
이다. 전체 공간이 서로 orthogonal한 Eigenspace 방향으로 완전히 분해되기 때문이다.
중복된 Eigenvalue가 있다면 같은 Eigenvalue의 Eigenspace Projection을 하나로 묶어
로 쓸 수 있다.
예제
의 Eigenvalue와 Orthonormal Eigenvector는
이다.
따라서
이다.
두 행렬을 더하면 원래 가 된다.
행렬의 거듭제곱
이므로 Spectral Decomposition에서는
이다.
각 Eigenvalue만 거듭제곱하면 되므로 큰 행렬의 반복 작용을 단순하게 표현할 수 있다.
Matrix Function
Scalar function 를 Eigenvalue에 적용하여
로 정의한다. 즉,
이다.
예를 들어
이고, Positive Definite Matrix의 square root는
로 정의할 수 있다.
Quadratic Form과 Eigenvalue
Symmetric Matrix의 Quadratic Form은
이다. 로 바꾸면
이다. Cross term이 사라지고 각 Eigenvalue가 각 principal axis 방향의 curvature를 결정한다.
- 모든 : Positive Definite
- 모든 : Positive Semidefinite
- 양수와 음수가 모두 존재: Indefinite
Rayleigh Quotient
nonzero vector에 대해
라고 한다. Eigenvalue를 큰 순서로 이라 하면
이다. 최대값은 에서, 최소값은 에서 얻는다.
Hermitian Matrix
복소수 Hermitian Matrix에서는
이며
이다. Eigenvalue는 실수이고 는 Unitary Matrix이다.
정리
- Symmetric Matrix는 로 orthogonally diagonalize된다.
- Spectral Decomposition은 이다.
- 는 Eigenvector 방향 Projection Matrix이다.
- 행렬의 거듭제곱과 함수는 Eigenvalue에 scalar function을 적용하여 계산한다.
- Quadratic Form의 부호는 Eigenvalue의 부호로 판단한다.
확인 문제
앞의 행렬 에 대해 를 Spectral Decomposition으로 나타낸다.
풀이
이므로
이다.