[확률] 기대값과 분산

단변량 확률 변수 (Univariate Random Variable)

기대값 (Expectation)

기대값은 확률 변수의 평균적인 값을 나타낸다.

이산형 확률 변수에서의 기대값은 아래와 같이 정의된다.

\[\mathbb{E}[X]=\sum_x x\cdot p_X(x)\]

연속형 확률 변수에서의 기대값은 아래와 같이 정의된다.

\[\mathbb{E}[X]=\int_{-\infty}^\infty x\cdot f_X(x)dx\]

기대값의 성질

1. $\mathbb{E}[X\pm Y]=\mathbb{E}[X]\pm\mathbb{E}[Y]$
2. $\mathbb{E}[aX]=a\mathbb{E}[X]$

조건부 기대값 (Conditional Expectation)

이산형 확률 변수에서의 조건부 기대값은 아래와 같이 정의된다.

\[\mathbb{E}[X\mid Y=y]=\sum_x x\cdot p_{X\mid Y}(x\mid y)\]

연속형 확률 변수에서의 조건부 기대값은 아래와 같이 정의된다.

\[\mathbb{E}[X\mid Y=y]=\int_{-\infty}^\infty x\cdot f_{X\mid Y}(x\mid y)dx\]

확률 변수 함수의 기대값 (Expectation of function of Random Variable)

이산형 확률 변수에서의 확률 변수 함수의 기대값은 아래와 같이 정의된다.

\[\mathbb{E}[g(X)]=\sum_x g(x)\cdot p_X(x)\]

연속형 확률 변수에서의 확률 변수 함수의 기대값은 아래와 같이 정의된다.

\[\mathbb{E}[g(X)]=\int_{-\infty}^\infty g(x)\cdot f_X(x)dx\]

총 기대의 법칙 (Law of Total Expectation)

조건부 기대값을 통해 전체 기대값을 계산할 수 있다.

\[\mathbb{E}[X]=\mathbb{E}\big[\mathbb{E}[X\mid Y]\big]\]

분산 (Varaiance)

편차 제곱의 평균을 분산이라고 하며, 평균을 기준으로 흩어짐의 정도를 나타낸다.

\[\sigma^2=\mathbb{V}[X]=\mathbb{E}[(X-\mu)^2]=\mathbb{E}[X^2]-\left(\mathbb{E}[x]\right)^2\]

분산의 성질

1. $\mathbb{V}[X\pm Y]=\mathbb{V}[X]+\mathbb{V}[Y]\pm2~\text{Cov}(X,Y)$
2. $\mathbb{V}[aX]=a^2\mathbb{V}[X]$

다변량 확률 변수 (Multivariate Random Variable)

기대값 (Expectation)

다변량 확률변수의 기대값은 각 확률변수의 기대값을 모아 벡터로 표현할 수 있다.

\[\mathbb{E}[\mathbf X]=\begin{bmatrix} \mathbb{E}[X_1]\\\mathbb{E}[X_2]\\\vdots\\\mathbb{E}[X_D] \end{bmatrix}\in\mathbb{R}^{D}\]

분산 (Variance)

다변량 확률변수의 분산은 공분산 행렬로 표현된다.

\[\mathbb{V}[\mathbf X]=\text{Cov}(\mathbf X)= \begin{bmatrix} \sigma_1^2&\sigma_{12}&\cdots&\sigma_{1D}\\ \sigma_{21}&\sigma_2^2&\cdots&\sigma_{2D}\\ \vdots&\vdots&\ddots&\vdots\\ \sigma_{D1}&\sigma_{D2}&\cdots&\sigma_D^2 \end{bmatrix}\in\mathbb{R}^{D\times D}\]

자세한 건 다음 포스트에서 다루겠다.