[확률] 가우시안 분포
단변량 가우시안 분포 (Univariate Gaussian Distribution)
확률 변수 $X$가 따르는 가우시안 분포는 아래와 같이 정의된다.
가우시안 분포는 정규 분포 (Normal Distribution)라고도 불린다.
\[\mathcal{N}(x\mid\mu~,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})\]위의 수식에서 $x$는 확률 변수 $X$가 가질 수 있는 값이며, $\mu$는 평균, $\sigma^2$은 분산을 의미한다.
아래 표현 모두 동일한 가우시안 분포의 PDF를 의미한다.
\[p_X(x\mid\mu~,\sigma^2)~~,~~f_X(x\mid\mu~,\sigma^2)~~,~~\mathcal{N}(x\mid\mu~,\sigma^2)\]평균이 $0$, 분산이 $1$인 정규 분포를 표준 정규 분포 (Standard Normal Distribution)라고 한다.
\[X\sim\mathcal{N}(0,1)\]1차원 가우시안 분포의 형태
가우시안 분포의 밀도는 2차원 평면에서 종 모양의 곡선으로 나타난다.
$\mu$는 가우시안 분포의 위치, $\sigma^2$은 퍼짐 정도를 결정한다.
다변량 가우시안 분포 (Multivariate Gaussian Distribution)
확률 벡터 $\mathbf{X}\in\mathbb{R}^D$가 따르는 가우시안 분포는 아래와 같이 정의된다.
\[\mathcal{N}(\mathbf{x}\mid\boldsymbol\mu~,\boldsymbol\Sigma)= \frac{1}{\sqrt{(2\pi)^D\lvert\boldsymbol\Sigma\rvert}}\exp(-\frac{(\mathbf x-\boldsymbol\mu)^\top\boldsymbol\Sigma^{-1}(\mathbf x-\boldsymbol\mu)}{2})\]위의 수식에서 $\mathbf{x}$는 확률 벡터 $\mathbf{X}$가 가질 수 있는 값이며, $\boldsymbol\mu$는 평균 벡터, $\boldsymbol\Sigma$는 공분산 행렬을 의미한다.
\[\boldsymbol\mu=\begin{bmatrix}\mathbb{E}[x_1]\\\mathbb{E}[x_2]\\\vdots\\\mathbb{E}[x_D]\end{bmatrix}\in\mathbb{R}^D ~~,~~ \boldsymbol\Sigma=\begin{bmatrix}\sigma_1^2&\cdots&\sigma_1\sigma_D\\\vdots&\ddots&\vdots\\\sigma_D\sigma_1&\cdots&\sigma_D^2\end{bmatrix}\in\mathbb{R}^{D\times D}\]평균이 $\mathbf0$, 공분산 행렬이 단위 행렬 $\mathbf{I}$인 정규 분포를 표준 정규 분포라고 한다.
\[X\sim\mathcal{N}(\mathbf0,\mathbf{I})\]다변량 가우시안 분포의 형태
$\boldsymbol\mu$는 가우시안 분포의 위치를 결정한다. 2차원 가우시안 분포에서는 타원의 중심, 3차원 가우시안 분포에서는 타원체의 중심을 의미한다.
$\boldsymbol\Sigma$는 타원체의 모양과 방향을 결정한다. $\boldsymbol\Sigma$의 고유벡터는 주축, 고유값은 해당 고유벡터 방향으로 퍼진 정도를 나타낸다.
2차원 가우시안 분포 (2D Gaussian Distribution)
2차원 가우시안 분포는 2차원 확률 벡터 $\mathbf{X}\in\mathbb{R}^2$에 대한 가우시안 분포를 의미한다.
\[\mathcal{N}(\mathbf{x}\mid\boldsymbol\mu,\boldsymbol\Sigma)= \frac{1}{\sqrt{(2\pi)^2\lvert\boldsymbol\Sigma\rvert}}\exp(-\frac{(\mathbf x-\boldsymbol\mu)^\top\boldsymbol\Sigma^{-1}(\mathbf x-\boldsymbol\mu)}{2})\]2차원 가우시안 분포의 형태
가우시안 분포의 밀도는 3차원 공간 상에서 종 모양의 곡면으로 나타난다.
같은 밀도를 연결한 등고선은 2차원 평면에서 타원 형태로 나타난다.
3차원 가우시안 분포 (3D Gaussian Distribution)
3차원 가우시안 분포은 3차원 확률 벡터 $\mathbf{X}\in\mathbb{R}^3$에 대한 가우시안 분포를 의미한다.
\[\mathcal{N}(\mathbf{x}\mid\boldsymbol\mu,\boldsymbol\Sigma)= \frac{1}{\sqrt{(2\pi)^3\lvert\boldsymbol\Sigma\rvert}}\exp(-\frac{(\mathbf x-\boldsymbol\mu)^\top\boldsymbol\Sigma^{-1}(\mathbf x-\boldsymbol\mu)}{2})\]3차원 가우시안 분포의 형태
가우시안 분포의 밀도는 4차원 공간 상에서 나타나고, 4차원 공간이기 때문에 시각화하지 못한다.
대신, 같은 밀도를 연결한 등확률 곡면을 3차원 공간에서 타원체 형태로 표현할 수 있다.
출처: Spatial Uncertainty Model for Visual Features Using a Kinect™ Sensor
여러 확률 벡터에 대한 가우시안 분포
여러 개의 확률 벡터에 대한 가우시안 분포는 여러 개의 벡터를 합쳐 차원이 더 커진 1개의 벡터로 간주한다.
예를 들어 두 확률 벡터 $\mathbf{X}\in\mathbb{R}^{D},\mathbf{Y}\in\mathbb{R}^{E}$가 있다면, 이를 하나의 확률 벡터 $\mathbf{Z}\in\mathbb{R}^{D+E}$로 표현할 수 있다.
\[\mathbf{Z}=\begin{bmatrix}\mathbf{X}\\\mathbf{Y}\end{bmatrix} \in\mathbb{R}^{D+E}\]$\mathbf{Z}$에 대한 가우시안 분포는 아래와 같이 표현할 수 있다.
\[\mathcal{N}(\mathbf{z}\mid\boldsymbol\mu_{\mathbf{z}}~,\boldsymbol\Sigma_{\mathbf{z}})= \mathcal{N}\bigg(\mathbf{z}~\bigg|\begin{bmatrix} \boldsymbol\mu_\mathbf x\\ \boldsymbol\mu_\mathbf y\end{bmatrix}, \begin{bmatrix} \Sigma_{\mathbf x\mathbf x}&\Sigma_{\mathbf x\mathbf y}\\ \Sigma_{\mathbf y\mathbf x}&\Sigma_{\mathbf y\mathbf y} \end{bmatrix}\bigg)\]$\boldsymbol\Sigma_\mathbf{z}$는 각 벡터 내부의 공분산뿐만 아니라, 두 벡터 사이의 상호 공분산까지 모두 포함하는 블록 행렬 형태로 표현된다.
$D=2,E=2$로 가정했을 때, 공분산 행렬은 아래와 같다.
\[\boldsymbol\Sigma_{\mathbf{z}}= \begin{bmatrix} \Sigma_{\mathbf x\mathbf x}&\Sigma_{\mathbf x\mathbf y}\\ \Sigma_{\mathbf y\mathbf x}&\Sigma_{\mathbf y\mathbf y} \end{bmatrix}= \begin{bmatrix} \begin{bmatrix}\sigma_{x_1}^2&\sigma_{x_1}\sigma_{x_2}\\\sigma_{x_2}\sigma_{x_1}&\sigma_{x_2}^2\end{bmatrix} & \begin{bmatrix}\sigma_{x_1}\sigma_{y_1}&\sigma_{x_1}\sigma_{y_2}\\\sigma_{x_2}\sigma_{y_1}&\sigma_{x_2}\sigma_{y_2}\end{bmatrix} \\ \begin{bmatrix}\sigma_{y_1}\sigma_{x_1}&\sigma_{y_1}\sigma_{x_2}\\\sigma_{y_2}\sigma_{x_1}&\sigma_{y_2}\sigma_{x_2}\end{bmatrix} & \begin{bmatrix}\sigma_{y_1}^2&\sigma_{y_1}\sigma_{y_2}\\\sigma_{y_2}\sigma_{y_1}&\sigma_{y_2}^2\end{bmatrix} \end{bmatrix} \in\mathbb{R}^{(D+E)\times(D+E)}\]가우시안 분포의 성질
아래의 성질은 확률 변수, 확률 벡터 모두에 대해서 성립한다.
1. 가우시안 분포의 결합 확률 분포는 가우시안 분포이다.
두 확률 확률 벡터 $\mathbf X, \mathbf Y$가 각각 가우시안 분포를 따르고 그 결합 분포가 존재한다면, 이 결합 분포 역시 가우시안이다.
\[\mathbf{X}\sim\mathcal{N}(\boldsymbol\mu_\mathbf x,\Sigma_{\mathbf x\mathbf x}) ~,~ \mathbf{Y}\sim\mathcal{N}(\boldsymbol\mu_\mathbf y,\Sigma_{\mathbf y\mathbf y}) ~~\to~~ \begin{bmatrix}\mathbf{X}\\\mathbf{Y}\end{bmatrix}\sim \mathcal{N}\left(\begin{bmatrix}\boldsymbol\mu_\mathbf x\\ \boldsymbol\mu_\mathbf y\end{bmatrix}, \begin{bmatrix}\Sigma_{\mathbf x\mathbf x}&\Sigma_{\mathbf x\mathbf y}\\\Sigma_{\mathbf y\mathbf x}&\Sigma_{\mathbf y\mathbf y} \end{bmatrix}\right)\]2. 가우시안 분포의 주변 확률 분포는 가우시안 분포이다.
다변량 가우시안 분포에서 일부 변수들을 제거하면, 남은 변수들의 분포는 여전히 가우시안이다.
\[\begin{bmatrix}\mathbf{X}\\\mathbf{Y}\end{bmatrix}\sim \mathcal{N}\left(\begin{bmatrix}\boldsymbol\mu_\mathbf x\\ \boldsymbol\mu_\mathbf y\end{bmatrix}, \begin{bmatrix}\Sigma_{\mathbf x\mathbf x}&\Sigma_{\mathbf x\mathbf y}\\\Sigma_{\mathbf y\mathbf x}&\Sigma_{\mathbf y\mathbf y} \end{bmatrix}\right) ~~\to~~ \mathbf{X}\sim\mathcal{N}(\boldsymbol\mu_\mathbf x,\Sigma_{\mathbf x\mathbf x}) ~,~ \mathbf{Y}\sim\mathcal{N}(\boldsymbol\mu_\mathbf y,\Sigma_{\mathbf y\mathbf y})\]
3. 가우시안 분포의 조건부 확률 분포는 가우시안 분포이다.
다변량 가우시안 분포에서 일부 변수들의 값이 주어졌을 때, 나머지 변수의 분포는 여전히 가우시안이다.
\[p(\mathbf x\mid\mathbf y)\sim\mathcal{N}(\boldsymbol\mu_{\mathbf x\mid\mathbf y},\boldsymbol\Sigma_{\mathbf x\mid\mathbf y})\]$\boldsymbol\mu_{\mathbf x\mid\mathbf y}$는 아래의 식으로 구할 수 있으며, $\mathbf y$가 관찰된 값일 때만 계산 가능하다
\[\boldsymbol\mu_{\mathbf x\mid\mathbf y}=\boldsymbol\mu_{\mathbf x} +\boldsymbol\Sigma_{\mathbf x\mathbf y} \boldsymbol\Sigma_{\mathbf y}^{-1} (\mathbf y-\boldsymbol\mu_{\mathbf y})\]$\boldsymbol\Sigma_{\mathbf x\mid\mathbf y}$는 아래의 식으로 구할 수 있다.
\[\boldsymbol\Sigma_{\mathbf x} -\boldsymbol\Sigma_{\mathbf x\mathbf y} \boldsymbol\Sigma_{\mathbf y}^{-1} \boldsymbol\Sigma_{\mathbf y\mathbf x}\]4. 가우시안 분포의 선형 결합은 가우시안 분포이다.
두 가우시안 확률 변수 $X, Y$가 독립일 때, 그 선형 결합 $aX+bY$는 여전히 가우시안 분포를 따른다.
\[aX+bY\sim \mathcal{N}(a\boldsymbol\mu_\mathbf x+b\boldsymbol\mu_\mathbf y,a^2\boldsymbol\Sigma_\mathbf x+b^2\boldsymbol\Sigma_\mathbf y)\]5. 가우시안 분포의 곱은 가우시안 분포이다.