13. Orthogonal Complement와 Projection

Subspace 의 모든 벡터와 orthogonal한 벡터들의 집합을 Orthogonal Complement라고 한다.

는 에서 빠진 나머지 벡터들의 집합이 아니라, 전체에 수직인 방향들로 이루어진 Subspace이다.

Orthogonal Complement가 Subspace인 이유

이고 scalar 가 주어졌다고 하자. 모든 에 대해

이므로 이다.

기본 성질

이다. 이면 자기 자신과도 orthogonal하므로

이고 이다.

유한차원에서는

이며

이다.

Fundamental Subspace와 Orthogonality

행렬 에 대해

이다. 이라는 것은 의 각 row와 의 Inner Product가 0이라는 뜻이다.

또한

이다. 따라서 네 Fundamental Subspace는 두 쌍의 Orthogonal Complement를 이룬다.

하나의 벡터에 대한 Projection

nonzero vector 가 만드는 직선 위로 를 Projection하면

이다.

Projection coefficient는 가 방향으로 얼마나 포함되어 있는지를 나타낸다.

나머지 성분은

이고 와 orthogonal하다.

Subspace에 대한 Projection

의 Orthogonal Basis가 이면

이다.

Orthonormal Basis 이면

이다.

Projection Matrix

Orthonormal Basis vector를 column으로 모은 행렬을

라고 하면

이다. 따라서 Projection Matrix는

이다.

는 다음 성질을 만족한다.

Symmetric이고 idempotent하다. 이미 위에 있는 벡터를 다시 Projection해도 변하지 않기 때문이다.

일반 Basis를 사용한 Projection Matrix

의 column들이 Linearly Independent하고 라면

이다.

이는 Least Squares의 핵심 공식이다. 가 와 가장 가까운 의 벡터이다.

Orthogonal Decomposition Theorem

모든 은 유일하게

로 분해된다.

구체적으로

이다.

예제

이다.

이므로

이다. Orthogonal component는

이며 실제로 이다.

정리

• 는 전체와 orthogonal한 벡터들의 Subspace이다.
• , 이다.
• , 이다.
• Orthonormal Basis matrix 에 대한 Projection Matrix는 이다.
• Projection Matrix는 symmetric하고 idempotent하다.

확인 문제

일 때 의 Basis를 구한다.

풀이

가 에 속하려면

이어야 한다. 로 두면 이므로

이다.