행렬은 벡터를 다른 벡터로 보내는 Linear Map이다. 이 과정에서 어떤 방향은 출력 공간에 남고, 어떤 방향은 zero vector로 사라진다. Rank는 행렬이 유지하는 독립적인 출력 방향의 수이고, Nullity는 행렬이 잃어버리는 독립적인 입력 방향의 수이다.

행렬 에는 다음 네 가지 기본 부분공간이 존재한다.

각각 Row Space, Column Space, Null Space, Left Null Space라고 한다.

네 가지 기본 부분공간

Row Space

의 row vector들이 Span하는 공간이다.

Row Space는 의 Subspace이다.

Column Space

의 column vector들이 Span하는 공간이다.

Column Space는 행렬이 만들 수 있는 모든 출력의 집합이며 의 Subspace이다.

Null Space

Null Space는 행렬에 의해 zero vector로 보내지는 입력 방향의 집합이다.

Left Null Space

Left Null Space의 벡터는 Column Space의 모든 벡터와 orthogonal하다.

Null Space가 Subspace인 이유

먼저 이므로 zero vector가 에 속한다.

또한 이면

이다. Scalar 에 대해서도

이다. 따라서 Null Space는 vector addition과 scalar multiplication에 대해 닫혀 있는 Subspace이다.

Rank

Rank는 Row Space 또는 Column Space의 Dimension이다.

행렬을 Row Echelon Form으로 바꾸면 pivot의 개수가 Rank가 된다.

Row Space의 Basis는 Row Echelon Form의 0이 아닌 행들로 구할 수 있다.

Column Space의 Basis를 구할 때는 주의해야 한다. Reduced Matrix의 pivot column이 아니라 원래 행렬에서 pivot position에 대응하는 column을 선택해야 한다. Row operation은 column 사이의 선형관계는 유지하지만 Column Space 자체는 바꿀 수 있기 때문이다.

Nullity

Nullity는 Null Space의 Dimension이다.

Reduced Row Echelon Form에서 free variable 하나는 Null Space의 독립적인 방향 하나를 만든다. 따라서

이다.

Rank-Nullity Theorem

가 행렬이면 다음 관계가 성립한다.

여기서 은 행렬의 column 수, 즉 입력 공간의 Dimension이다.

각 variable은 pivot variable 또는 free variable 중 하나이다. 따라서

이며, 이것이 Rank-Nullity Theorem의 계산적 의미이다.

기하학적으로는 입력 공간의 모든 방향이 출력에 남는 방향과 zero vector로 사라지는 방향으로 나뉜다는 뜻이다.

예제

다음 행렬의 Reduced Row Echelon Form이 주어졌다고 하자.

pivot은 1열, 2열, 4열에 존재하므로

이다. free variable은 이므로

이다. 실제로

가 성립한다.

Null Space의 Basis를 구하기 위해 , 로 둔다. 연립방정식을 정리하면

이다. 따라서

이고, Null Space의 Basis는

이다.

Rank와 Invertibility

정사각행렬 에 대해 다음 조건들은 서로 동치이다.

  • 가 invertible이다.
  • 이다.
  • 이다.
  • 이다.
  • 모든 column에 pivot이 존재한다.

즉, 정사각행렬이 입력 방향을 하나도 잃지 않을 때 역행렬이 존재한다.

rank(AᵀA)=rank(A)

실수행렬 에 대해 다음 성질이 성립한다.

두 행렬의 Null Space가 같음을 보이면 된다.

먼저 이면

이므로 이다.

반대로 이면 양쪽에 를 곱한다.

Norm의 제곱이 0이므로 이다. 따라서

이다. 두 행렬은 column 수가 같고 Nullity도 같으므로 Rank 역시 같다.

정리

  • Rank는 행렬이 유지하는 독립적인 출력 방향의 수이다.
  • Nullity는 행렬이 zero vector로 보내는 독립적인 입력 방향의 수이다.
  • Rank는 pivot 수이고, Nullity는 free variable 수이다.
  • 이다.
  • Row Space와 Column Space의 Dimension은 같다.
  • 는 Row Space와, 는 Column Space와 orthogonal한 관계를 가진다.

확인 문제

1

가 행렬이고 일 때 를 구한다.

2

가 행렬이고 Null Space의 Basis가 세 개의 vector로 이루어져 있을 때 Rank를 구한다.

풀이

1번

Rank-Nullity Theorem에 따라

이므로

이다.

2번

Null Space의 Basis vector가 세 개이므로 Nullity는 3이다. column 수가 6이므로

이다. 따라서

이다.