vector를 공부할 때 Inner Product는 component끼리 곱해 더하는 operation으로 먼저 접하게 된다. 그러나 Inner Product는 length, distance, angle, orthogonality를 하나의 구조로 연결한다. 여기에 Linear Combination과 Linear Independence를 함께 정리하면 이후의 Span과 Basis를 이해하기 쉬워진다.
Inner Product
을
라고 하자. standard Inner Product는 다음과 같이 정의된다.
예를 들어 , 이면
이다.
Inner Product의 기본 성질
real Vector Space의 standard Inner Product는 다음 성질을 만족한다.
특히 이면 두 vector는 orthogonal이다.
Norm
Norm은 vector의 magnitude를 측정하는 함수이다. standard Euclidean Norm은 Inner Product로부터 정의된다.
Norm은 다음 세 조건을 만족해야 한다.
- 이고
세 번째 조건은 triangle inequality이다.
여러 종류의 Norm
-Norm은 component의 absolute value를 모두 더한다.
일반적인 -Norm은 다음과 같다.
Infinity Norm은 absolute value가 가장 큰 component를 선택한다.
같은 vector라도 어떤 Norm을 사용하느냐에 따라 magnitude를 측정하는 방식이 달라진다. optimization과 machine learning에서는 이 차이가 regularization과 distance metric에 직접 연결된다.
Linear Combination
vector 와 scalar 가 있을 때
형태의 vector를 주어진 vector들의 Linear Combination이라고 한다.
의 Standard Basis
를 사용하면 모든 vector 를
로 표현할 수 있다.
Linear Combination은 주어진 vector들로 어떤 space를 만들 수 있는지를 설명한다.
Linear Independence
vector set 가 다음 조건을 만족하면 linearly independent이다.
zero vector를 만드는 coefficient combination이 trivial solution 하나뿐이라는 뜻이다.
반대로 이 아닌 coefficient를 포함하는 combination으로 zero vector를 만들 수 있다면 linearly dependent이다. 이 경우 어떤 vector 하나가 나머지 vector들의 Linear Combination으로 표현된다.
예를 들어
에 대해
이므로 두 vector는 linearly dependent이다.
Linear Independence와 표현의 유일성
linearly independent인 vector들로 어떤 vector를 표현할 수 있다면 그 Linear Combination의 coefficient는 unique하다.
같은 vector 가
와
로 표현된다고 하자. 두 식을 빼면
이다. vector들이 linearly independent이므로 모든 에 대해 이고, 따라서 이다.
이 성질이 하나의 Basis에 대한 coordinate를 unique하게 정의할 수 있는 이유이다.
정리
- Inner Product는 두 vector의 관계를 하나의 scalar로 나타낸다.
- Norm은 vector의 magnitude를 정의한다.
- Linear Combination은 주어진 vector들로 만들 수 있는 vector를 표현한다.
- Linear Independence는 표현에 redundancy가 없는 상태를 뜻한다.
- linearly independent인 vector를 이용한 표현의 coefficient는 unique하다.
확인 문제
- 의 -Norm, -Norm, Infinity Norm을 계산한다.
- , , 가 linearly independent인지 확인한다.
풀이
1번
2번
이므로
이라는 nontrivial relation이 존재한다. 따라서 세 vector는 linearly dependent이다.