그람-슈미트 과정 (Gram-Schmidt Process)
그람 슈미트 과정은 기저 $B$를, 같은 공간을 span하는 정규 직교 기저 $Q$로 변환하는 방법이다.
\[B=\lbrace\vb_1,\dots,\vb_k\rbrace \quad\to\quad Q=\lbrace\vq_1,\dots,\vq_k\rbrace\]$Q$의 벡터들은 정규 직교 기저이기 때문에, 다음이 성립한다.
\[\vq_i^\top\vq_j= \begin{cases} 1&i=j\\0&i\not=j \end{cases}\]그람 슈미트 과정은 쉽게 말해, 다음의 과정을 반복하는 것이다.
원래 벡터에서 이전에 만든 직교 벡터들의 방향 성분을 빼서, 새로운 직교 벡터를 만든다.
\[\vu_k=\vb_k-\sum_{i=1}^{k-1}\text{proj}_{\vq_i}(\vb_k) \tag{1}\]만들어진 직교 벡터를 정규화하여 길이가 $1$인 벡터로 만든다.
\[\vq_k=\frac{\vu_k}{\lVert\vu_k\rVert} \tag{2}\]
예를 들어, 3차원 공간에서 기저 $B=\lbrace\vb_1,\vb_2,\vb_3\rbrace$에 대한 그람 슈미트 과정은 아래와 같다.
첫 번째 정규 직교 기저 구하기
먼저 기저 벡터에서 하나의 기준 벡터를 정한 후, 해당 벡터를 정규화한다.
\[\vu_1=\vb_1\] \[\vq_1=\frac{\vb_1}{\lVert\vb_1\rVert}\]두 번째 정규 직교 기저 구하기
두 번째 기저 벡터 $\vb_2$에서 $\vq_1$ 방향의 성분을 제거한다.
\[\vu_2=\vb_2-\text{proj}_{\vq_1}(\vb_2)\]$\vq_1$ 방향의 성분은 $\vb_2$를 $\vq_1$ 벡터로 정사영함으로써 구할 수 있다.
\[\text{proj}_{\vq_1}(\vb_2)=(\vb_2^\top\vq_1)\vq_1\]이렇게 만든 $\vu_2$는 $\vq_1$과 직교한다.
이후 정규화하여 길이를 $1$로 만든다.
\[\vq_2=\frac{\vu_2}{\lVert\vu_2\rVert}\]세 번째 정규 직교 기저 구하기
세 번째 기저 벡터 $\vb_3$에서 $\vq_1$과 $\vq_2$ 방향의 성분을 제거한다.
\[\vu_3=\vb_3-\text{proj}_{\vq_1}(\vb_3)-\text{proj}_{\vq_2}(\vb_3)\]이렇게 만든 $\vu_3$는 $\vq_1,\vq_2$와 모두 직교한다.
이후 정규화하여 길이를 $1$로 만든다.
\[\vq_3=\frac{\vu_3}{\lVert\vu_3\rVert}\]아래의 왼쪽 그림에서 $\va$들은 서로 직교하지 않았지만, 오른쪽 그림에서 $\vb$들은 서로 직교한다.
Example: Gram-Schmidt 과정으로 기저를 직교화
\[B=\begin{bmatrix}1&1&2\\1&3&0\\0&2&1\end{bmatrix}\]
- 첫 번째 정규 직교 기저 구하기
- 두 번째 정규 직교 기저 구하기
- 세 번째 정규 직교 기저 구하기
최종적으로 얻은 정규 직교 기저는 아래와 같다.
\[Q=\begin{bmatrix}\frac{1}{\sqrt2}&-\frac{1}{\sqrt6}&\frac{1}{\sqrt3}\\\frac{1}{\sqrt2}&\frac{1}{\sqrt6}&-\frac{1}{\sqrt3}\\0&\frac{2}{\sqrt6}&\frac{1}{\sqrt3}\end{bmatrix}\]