[선형대수] 고유값 분해 (EVD)
대각화 (Diagonalization)
정사각 행렬 $A$에 대해, 다음을 만족하는 가역 행렬 $P$와 대각 행렬 $D$가 존재한다면, $A$는 대각화 가능 (Diagonlizable)하다고 한다.
\[P^{-1}AP=D \tag{1}\]동치적으로 다음과 같이 쓸 수도 있다.
\[A = PDP^{-1} \tag{2}\]이때 $A$와 $D$는 닮음 관계에 있다고 한다.
행렬이 나타내는 선형 변환 자체는 유지하면서, 그 변환을 다른 기저에서 표현하는 것을 의미한다.
따라서 기저에 의존하지 않는 여러 성질을 공유한다.
- $\text{tr}(A)=\text{tr}(D)$
- $\text{det}(A)=\text{det}(D)$
- $\text{rank}(A)=\text{rank}(D)$
- $A$와 $D$의 고유값이 같으며, 따라서 두 행렬의 특성 방정식도 동일하다.
이렇게 행렬을 대각화 하는 이유는, 대각 행렬로 바꾸면 일부 연산이 훨씬 간단해지기 때문이다. (대각 행렬의 성질 참고)
아래에서 바로 다루겠지만, 여기서 $P$는 $A$의 고유벡터들을 열벡터로 모아 만든 행렬이고, $D$는 그에 대응하는 고유값들이 대각 성분에 놓인 대각 행렬이다.
고유값 분해 (EVD - Eigenvalue Decomposition)
EVD는 정사각 행렬 $A\in\mathbb{R}^{m\times m}$를 고유벡터 행렬과 고유값이 대각 원소로 구성된 대각행렬로 분해하는 방법이다.
\[A=V\Lambda V^{-1} \tag{3}\]$V$: 각 열이 $A$의 고유벡터들로 구성된 행렬
\[V=\begin{bmatrix}|&|&&|\\\mathbf{v}_1&\mathbf{v}_2&\cdots&\mathbf{v}_n\\|&|&&|\end{bmatrix} \in\mathbb{R}^{m\times n}\]$\Lambda$: 주대각선에 $A$의 고유값들이 나열된 대각 행렬
\[\Lambda=\begin{bmatrix}\lambda_1&0&\cdots&0\\0&\lambda_2&\cdots&0\\\vdots&\vdots&\ddots&0\\0&0&0&\lambda_n\end{bmatrix} \in\mathbb{R}^{n\times n}\]이때 고유값 $\lambda_i$는 서로 중복될 수 있으며, $0$ 값을 가질 수도 있다.
식 (2)와 식 (3)을 보면 알 수 있듯이, 대각화 가능하다는 것은 곧 EVD 가능하다는 의미이다.
즉, EVD는 대각화를 고유값과 고유벡터 관점에서 구체적으로 표현한 형태라고 볼 수 있다.
EVD의 조건
모든 정사각 행렬이 EVD가 가능한 것은 아니며, $V$가 가역 행렬일 때만 EVD가 가능하다.
$V$가 가역 행렬이라는 뜻은 $A$의 고유벡터들이 모두 선형 독립이라는 뜻이다.
이 조건은 대수적 중복도 (Algebraic Multiplicity)와 기하적 중복도 (Gemoetric Multiplicity)가 같은 경우 성립한다.
- Algebraic Multiplicity: 특성 방정식에서 고유값의 중복 횟수를 의미한다.
- Gemoetric Multiplicity: 고유값에 대응하는 고유벡터들의 개수로, null space의 차원과 같다.
Example: EVD 가능 판별
\[A=\begin{bmatrix}2&1\\0&2\end{bmatrix}\]$\lambda_1=\lambda_2=2$이므로, 2개의 중복 고유값을 가진다. → Algebraic Multiplicity = 2
해당 고유값에 대응하는 고유벡터는 1개다. → Gemoetric Multiplicity = 1
Algebraic Multiplicity $\not=$ Gemoetric Multiplicity이므로, $A$는 EVD가 불가능하다.
대칭 행렬에서의 EVD
대칭 행렬의 서로 다른 고유값에 대응하는 고유벡터들은 항상 직교 관계이기 때문에, 대칭 행렬은 항상 EVD가 가능하다.
\[A=Q\Lambda Q^\top \tag{4}\]위의 수식에서 $Q$는 직교 행렬을 의미한다.
증명
\[\vphantom{\Big(}A=V\Lambda V^{-1}~~,~~A^\top=\left(V\Lambda V^{-1}\right)^\top\]대칭 행렬이기 때문에 $A=A^\top$이다.
\[\vphantom{\Big(}V\Lambda V^{-1}=\left(V\Lambda V^{-1}\right)^\top\]위 식을 아래와 같이 전개할 수 있다.
\[\vphantom{\Big(}V\Lambda V^{-1}=\left(V\Lambda V^{-1}\right)^\top=V^{-\top}\Lambda^\top V^\top=\left(V^\top\right)^{-1}\Lambda V^\top\]위 식의 좌변과 우변이 같으려면 아래의 식이 성립해야 한다.
\[\vphantom{\Big(}V^{-1}=V^\top\]따라서 $V$는 직교 행렬이다.
\[\vphantom{\Big(}\lambda_1\mathbf{v}_1\cdot\mathbf{v}_2=(\lambda_1\mathbf{v}_1)^\top\mathbf{v}_2=(A\mathbf{v}_1)^\top\mathbf{v}_2=(\mathbf{v}_1^\top A^\top)\mathbf{v}_2\] \[\vphantom{\Big(}=\mathbf{v}_1^\top(A\mathbf{v}_2)=\mathbf{v}_1^\top(\lambda_2\mathbf{v}_2)=\lambda_2\mathbf{v}_1^\top\mathbf{v}_2=\lambda_2\mathbf{v}_1\cdot\mathbf{v}_2\] \[\vphantom{\Big(}(\lambda_1-\lambda_2)\mathbf{v}_1\cdot\mathbf{v}_2=0\]$\lambda_1\neq\lambda_2$이므로, $\mathbf{v}_1\cdot\mathbf{v}_2=0$이다.
EVD의 장점
EVD를 사용해 행렬을 분해하면, 대각 행렬의 여러 장점을 활용할 수 있다.
대각 행렬은 각 좌표를 독립적으로 Scaling하는 성질이 있다.
즉 EVD를 통해 행렬 $A=V\Lambda V^{-1}$로 분해하면, $A$라는 복잡한 변환이 고유벡터 좌표계에서는 단순한 축별 Scaling으로 바뀌게 된다.
또한 $A$를 $k$번 적용해야할 경우, 단순히 고유값들을 각각 $k$ 제곱하기만 하면 된다.
\[A^k=(V\Lambda V^{-1})\cdots(V\Lambda V^{-1})=V\Lambda^k V^{-1}\]추가적으로, 대각화가 가능한 행렬 $A$는 행렬식과 Trace 계산이 간결해진다.
행렬식 계산: 행렬 $A$의 행렬식은 모든 고유값의 곱과 같다.
\[\text{det}(A)=\prod_{i=1}^n\lambda_i\]증명
\[\text{det}(A)=\text{det}(V\Lambda V^{-1})=\text{det}(V)\text{det}(\Lambda)\text{det}(V^{-1})=\text{det}(\Lambda)\cdot\frac{\text{det}(V)}{\text{det}(V)}=\text{det}(\Lambda)\]
$\Lambda$는 대각 행렬이며, 대각 행렬의 행렬식은 대각 성분의 곱과 같다.
\[\text{det}(\Lambda)=\prod_{i=1}^n\lambda_i\]Trace 계산: 행렬 $A$의 Trace는 모든 고유값의 합과 같다.
\[\text{tr}(A)=\sum_{i=1}^n\lambda_i\]증명
\[\text{tr}(A)=\text{tr}(V\Lambda V^{-1})=\text{tr}(V^{-1}V\Lambda)=\text{tr}(\Lambda)=\sum_{i=1}^n\lambda_i\]
EVD의 기하학적 의미
앞서 EVD를 이용하면 행렬 $A$가 나타내는 복잡한 선형 변환을, 고유벡터 좌표계에서는 단순한 축별 Scaling으로 해석할 수 있다고 설명했다.
왜 이런 해석이 가능한지 살펴보자.
대각화 가능한 행렬 $A\in\mathbb{R}^{n\times n}$가 존재할 때, 임의의 벡터 $\mathbf{x}$에 대한 변환 $A\mathbf{x}$는 다음과 같이 표현할 수 있다.
\[A\mathbf{x} = V \Lambda V^{-1}\mathbf{x}\]이때 $\mathbf{x}$가 원래 표현되어 있는 좌표계의 기저를 $\lbrace\mathbf{e}_1,\dots,\mathbf{e}_n\rbrace$이라고 하자.
위 식은 오른쪽부터 차례대로 다음의 세 단계를 거치는 과정으로 이해할 수 있다.
$V^{-1}\mathbf{x}$: 원래 좌표계에서 표현된 벡터 $\mathbf{x}$를 고유벡터들을 기저로 하는 좌표계에서의 좌표로 변환한다.
\[\mathbf{x}=c_1\mathbf{v}_1+c_2\mathbf{v}_1+\cdots+c_n\mathbf{v}_n\]$\Lambda(V^{-1}\mathbf{x})$: 고유벡터 좌표계에서 표현된 각 성분을, 대응되는 고유값 $\lambda_i$만큼 독립적으로 Scaling한다.
\[\lambda_1(c_1\mathbf{v}_1)+\lambda_2(c_2\mathbf{v}_2)+\cdots+\lambda_n(c_n\mathbf{v}_n)\]$V(\Lambda V^{-1}\mathbf{x})$: Scaling된 고유벡터 좌표를 다시 원래 좌표계의 벡터로 변환한다.
\[\mathbf{y}=y_1\mathbf{e}_1+y_2\mathbf{e}_2+\cdots+y_n\mathbf{e}_n\]
따라서 $A$가 복잡한 변환처럼 보이더라도, 고유벡터 좌표계에서 보면 각 고유벡터 방향은 서로 섞이지 않고 자기 방향을 유지한 채 고유값만큼 늘어나거나 줄어든다.
예시
예를 들어, 행렬 $A$가 다음과 같이 EVD가 된다고 가정해 보자.
\[A=V\Lambda V^{-1}= \begin{bmatrix}1&3\\-2&0\end{bmatrix} \begin{bmatrix}-1&0\\0&0.5\end{bmatrix} \begin{bmatrix}1&3\\-2&0\end{bmatrix}^{-1}\]그리고 유클리드 좌표계에 존재하는 벡터 $\mathbf{x}=2\mathbf{i}+2\mathbf{j}$에 선형 변환 $A$를 적용한다고 해보자.
$\mathbf{y}=A\mathbf{x}$를 다음과 같이 세 단계로 표현할 수 있다.
벡터 $\mathbf{x}$를 고유벡터 좌표계로 표현
\[V^{-1}\mathbf{x}= \begin{bmatrix}1&3\\-2&0\end{bmatrix}^{-1} \begin{bmatrix}2\\2\end{bmatrix}= \begin{bmatrix}-1\\1\end{bmatrix}\]따라서 고유벡터 좌표계에서 $\mathbf{x}=-\mathbf{v}_1+\mathbf{v}_2$로 표현된다.
각 성분을 고유값 $\lambda_1=-1,\lambda_2=0.5$만큼 Scaling
\[\Lambda(V^{-1}\mathbf{x})= \begin{bmatrix}-1&0\\0&0.5\end{bmatrix} \begin{bmatrix}-1\\1\end{bmatrix}= \begin{bmatrix}1\\0.5\end{bmatrix}\]Scaling 후의 벡터는 $\mathbf{v}_1+0.5\mathbf{v}_2$가 된다.
원래 좌표계로 표현
\[V(\Lambda V^{-1}\mathbf{x})= \begin{bmatrix}1&3\\-2&0\end{bmatrix} \begin{bmatrix}1\\0.5\end{bmatrix}= \begin{bmatrix}2.5\\-2\end{bmatrix}\]따라서 원래 좌표계에서 $\mathbf{y}=2.5\mathbf{i}-2\mathbf{j}$로 표현된다.
즉, $A$에 의한 선형 변환의 결과는 다음과 같다.
\[A\mathbf{y}=2.5\mathbf{i}-2\mathbf{j}=\begin{bmatrix}2.5\\-2\end{bmatrix}\]