[선형대수] 기저와 차원

기저 (Basis)

벡터 공간의 기저란, 공간 전체를 span할 수 있는 선형 독립인 벡터들의 집합을 말한다.

쉽게 말해, 벡터 공간 $\mathcal{V}$의 기저가 $\lbrace\mathbf{b}_1,\dots,\mathbf{b}_N\rbrace$일 때, 벡터 공간 $\mathcal{V}$에 존재하는 어떠한 벡터 $\mathbf{v}$라도 기저들의 선형 결합으로 표현될 수 있다.

\[\mathbf{v}=\sum_{i=1}^N c_i\mathbf{b}_i \;,\quad\text{where }\mathbf{v}\in \mathcal{V} \tag{1}\]

즉, 벡터 공간 $\mathcal{V}$를 span하는 가장 작은 집합 $B$를 $\mathcal{V}$의 기저라고 부르며, 이는 특정 공간에서 좌표축 역할을 하는 벡터들의 집합이다.

기저는 아래와 같이 표현 가능하다.

• $B$는 $\mathcal{V}$의 Minimal generating set이다.

  벡터를 하나라도 제거하면 더 이상 $\mathcal{V}$ 전체를 생성할 수 없다는 뜻이다.

• $B$는 $\mathcal{V}$의 Maximally Linearly Independent set이다.

  벡터를 하나라도 추가하면 선형 독립성이 깨진다는 뜻이다.

어떤 벡터들이 존재할 때, 이 벡터들이 span하는 공간의 기저는 가우스 소거법을 이용해 구할 수 있다.

Example: 기저 구하기

\[\mathbf{a}_1=\begin{bmatrix}1\\2\end{bmatrix}~,~\mathbf{a}_2=\begin{bmatrix}2\\5\end{bmatrix}~,~\mathbf{a}_3=\begin{bmatrix}3\\5\end{bmatrix}\]

위의 벡터들이 span하는 공간의 기저는 다음과 같이 구할 수 있다.

먼저 가우스 소거법을 적용하기 위해, 세 벡터를 열벡터로 갖는 행렬을 만든다.

\[A=\begin{bmatrix}1&2&3\\2&5&5\end{bmatrix}\]

이제 가우스 소거법을 이용해 RREF로 변환한다.

\[\text{RREF}(A)=\begin{bmatrix}1&0&5\\0&1&-1\end{bmatrix}\]

RREF를 보면 첫 번째와 두 번째 열이 Pivot column이며, Pivot column의 위치에 해당하는 원본 행렬에서의 열벡터가 $A$의 열공간을 span하는 기저 중 하나가 된다.

\[\mathbf{b_1}=\begin{bmatrix}1\\2\end{bmatrix}~,~\mathbf{b_2}=\begin{bmatrix}2\\5\end{bmatrix}\]

가우스 소거법을 해도 열벡터 사이의 선형 독립 또는 선형 종속 관계는 유지된다.
하지만, 가우스 소거법을 통해 변형된 열벡터는 원본 행렬의 열벡터와 같은 공간을 span하지 않는다.
따라서, 열공간의 기저는 원본 행렬에서 선택해야 한다.

다만 RREF의 Pivot column은 열공간의 기저가 될 수 있는 열벡터들을 찾는 하나의 방법을 제공할 뿐이며, 여기서 구한 기저가 유일한 것은 아니다.
예를 들어 위에서는 첫 번째와 두 번째 열을 기저로 선택했지만, 첫 번째와 세 번째 열도 서로 선형독립이므로 열공간의 또 다른 기저로 선택할 수 있다.

직교 기저 (Orthogonal Basis)

기저를 이루는 벡터들이 서로 직교하는 경우, 직교 기저라고 부른다.

\[\mathbf{b}_i\cdot\mathbf{b}_j=0~,~(i\not=j) \tag{2}\]

직교 기저가 중요한 이유는 2가지가 있다.

1. 서로 직교한다는 것은 선형 독립을 자동으로 보장해준다.

2. 어떤 벡터 $\mathbf{v}$를 기저들의 선형 결합으로 나타낼 때, 계수를 쉽게 구할 수 있다.

\[c_i=\frac{\mathbf{v}\cdot\mathbf{b}_i}{\lVert\mathbf{b}_i\rVert} \tag{3}\]

식 (3) 유도

\[\mathbf{v}=\sum_{i=1}^N c_i\mathbf{b}_i\]

1. 양변에 $\mathbf{b}_k$를 내적함

\[\mathbf{v}\cdot\mathbf{b}_k=\left(\sum_{i=1}^N c_i\mathbf{b}_i\right)\cdot\mathbf{b}_k=\sum_{i=1}^N c_i(\mathbf{b}_i\cdot\mathbf{b}_k)\]

1. $\mathbf{b}_i\cdot\mathbf{b}_j=0~,~(i\not=j)$이기 때문에 우변에는 $i=k$인 항만 남음

\[\mathbf{v}\cdot\mathbf{b}_k=c_k(\mathbf{b}_k\cdot\mathbf{b}_k)\]

1. $c_1$만 남기고 이항

\[c_k=\frac{\mathbf{v}\cdot\mathbf{b}_k}{\lVert\mathbf{b}_k\rVert}\]

Example: 직교 기저 좌표계에서 임의의 벡터를 기저로 표현

어떤 벡터 공간 $\mathcal{V}$의 기저가 다음과 같을 때,

\[\mathbf{b}_1=\begin{bmatrix}1\\1\end{bmatrix}~,~\mathbf{b}_2=\begin{bmatrix}-1\\1\end{bmatrix}\]

벡터 $\mathbf{v}=\begin{bmatrix}3\\5\end{bmatrix}$를 기저들의 선형 결합으로 표현할 수 있다.

\[\mathbf{v}=\begin{bmatrix}3\\5\end{bmatrix} =c_1\begin{bmatrix}1\\1\end{bmatrix}+c_2\begin{bmatrix}-1\\1\end{bmatrix}\]

이때 기저가 서로 직교하기 때문에, 선형 결합의 계수를 쉽게 구할 수 있다.

\[c_1=\frac{\mathbf{v}^\top\mathbf{b}_1}{\mathbf{b}_1^\top\mathbf{b}_1}=\frac{8}{2}=4\] \[c_2=\frac{\mathbf{v}^\top\mathbf{b}_2}{\mathbf{b}_2^\top\mathbf{b}_2}=\frac{2}{2}=1\]

결과적으로, $\mathbf{v}$는 다음과 같이 표현된다.

\[\mathbf{v}=4\mathbf{b}_1+\mathbf{b}_2\]

정규 직교 기저 (Orthonormal Basis)

Basis를 이루는 벡터들이 서로 직교하고 각각의 크기가 1일 경우, 정규 직교 기저라고 부른다.

\[\mathbf{b}_i\cdot\mathbf{b}_j= \begin{cases} 1&(i=j)\\ 0&(i\not=j) \end{cases} \tag{4}\]

정규 직교 기저라면 식 (3)번에서 $\lVert\mathbf{b}_i\rVert=1$이 된다.
따라서 어떤 벡터 $\mathbf{v}$를 기저들의 선형 결합으로 표현할 때, 더 단순한 계산으로 계수를 구할 수 있다.

\[c_i=\mathbf{v}\cdot\mathbf{b}_i \tag{5}\]

Example: 정규 직교 기저 좌표계에서 임의의 벡터를 기저로 표현

어떤 벡터 공간 $\mathcal{V}$의 기저가 다음과 같을 때,

\[\mathbf{b}_1=\begin{bmatrix}\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix}~,~\mathbf{b}_2=\begin{bmatrix}-\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix}\]

벡터 $\mathbf{v}=\begin{bmatrix}3\\5\end{bmatrix}$를 기저들의 선형 결합으로 표현할 수 있다.

\[\mathbf{v}=\begin{bmatrix}3\\5\end{bmatrix} =c_1\begin{bmatrix}1\\1\end{bmatrix}+c_2\begin{bmatrix}-1\\1\end{bmatrix}\]

이때 기저가 정규 직교 기저이기 때문에, 선형 결합의 계수를 쉽게 구할 수 있다.

\[c_1=\mathbf{v}^\top\mathbf{b}_1=4\] \[c_2=\mathbf{v}^\top\mathbf{b}_2=1\]

결과적으로, $\mathbf{v}$는 다음과 같이 표현된다.

\[\mathbf{v}=4\mathbf{b}_1+\mathbf{b}_2\]

또한 벡터를 어떤 벡터 공간으로 정사영할 때, $B^\top B=I$이므로 복잡한 역행렬 계산을 피할 수 있다.

\[\text{proj}_U(\mathbf{v})=BB^\top\mathbf{v} \tag{6}\]

Example: 임의의 벡터를 정규 직교 좌표 공간으로 정사영한 벡터 구하기

어떤 벡터 공간 $\mathcal{V}$의 기저가 다음과 같을 때,

\[\mathbf{b}_1=\begin{bmatrix}\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\\0\end{bmatrix}~,~\mathbf{b}_2=\begin{bmatrix}-\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\\0\end{bmatrix}\]

벡터 $\mathbf{v}=\begin{bmatrix}3\\5\\7\end{bmatrix}$를 $V$으로 정사영 시킨 결과는 다음과 같이 구할 수 있다.

\[\text{proj}_U(\mathbf{v})=\begin{bmatrix}\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\0&0\end{bmatrix}\begin{bmatrix}\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\end{bmatrix}\begin{bmatrix}3\\5\\7\end{bmatrix}=\begin{bmatrix}3\\5\\0\end{bmatrix}\]

차원 (Dimension)

벡터 공간 $\mathcal{V}$의 기저의 개수를 $\mathcal{V}$의 차원이라고 부른다.

벡터의 차원과 벡터 공간의 차원은 다르다.

• 벡터의 차원은 벡터를 구성하는 원소의 개수를 의미한다.

  \[\mathbf{v}=\begin{bmatrix}2\\4\\6\end{bmatrix}~\to~\text{dim}(\mathbf{v})=3\]

• 벡터 공간의 차원은 공간을 생성하는 선형 독립 벡터의 개수를 의미한다.

  \[\mathcal{V}=\text{span}(\begin{bmatrix}1\\3\\5\end{bmatrix},\begin{bmatrix}2\\4\\6\end{bmatrix})~\to~\text{dim}(\mathcal{V})=2\]

부분공간의 차원은 항상 원래 공간의 차원보다 작거나 같다.

\[\mathcal{U}\subseteq \mathcal{V} \implies \text{dim}(\mathcal{U})\leq \text{dim}(\mathcal{V}) \tag{7}\]