[확률] 베이즈 정리 (Bayes' Theorem)

베이즈 정리

베이즈 정리는 새로운 정보를 바탕으로 기존의 믿음을 업데이트하는 방법을 수학적으로 설명한 이론이다.
다시 말해, 이미 알고 있는 사전 확률과 새로운 정보인 우도를 이용해 사후 확률을 계산하는 공식이다.

공식은 다음과 같다.

\[P(B|A)=\frac{P(B)P(A|B)}{P(A)} \tag{1}\]

사전 확률 (Prior)

사전 확률은 새로운 정보를 얻기 전에, 우리가 가지고 있던 사건 $B$에 대한 초기 믿음을 의미한다.

\[P(B)\]

우도 (Likelihood)

우도는 주어진 가설 $B$ 하에서, 우리가 관측한 새로운 정보 $A$가 발생할 가능성을 의미한다.

\[P(A\mid B)\]

증거 (Evidence)

증거는 모든 가능한 원인들을 고려했을 때, 관측된 사건 $A$ 자체가 발생할 전체 확률을 의미한다.

\[P(A)\]

사후 확률의 총합이 $1$이 되도록 보정해주는 역할을 하기 때문에 정규화 상수라고도 불린다.

사후 확률 (Posterior)

사후 확률은 새로운 정보 $A$를 관측한 후 업데이트된 사건 $B$의 확률을 의미한다.
베이즈 정리를 통해 우리가 최종적으로 구하고자 하는 값이다.

\[P(B\mid A)\]

베이즈 정리 예시

내일 비가 올지 안 올지 확실치 않아서, 비가 올 확률을 50%, 비가 오지 않을 확률을 50%라고 가정해 보자.
이를 수식으로 나타내면 다음과 같으며, 여기서 $P(💧)$는 새로운 정보를 얻기 전 우리가 미리 가지고 있던 믿음 (Prior)을 의미한다.

\[P(💧)=0.5\]

이때 내일 번개가 친다는 새로운 관측 정보 (Evidence)를 얻었다고 가정해 보자.
그리고 과거 통계를 통해, 비가 올 때 번개가 칠 확률은 70%, 비가 오지 않을 때 번개가 칠 확률은 20%라는 것을 알고 있다고 해보자.
이를 조건부 확률 (Likelihood)로 표현하면 다음과 같다.

\[P(⚡\mid 💧)=0.7\quad,\quad P(⚡\mid 💧\times)=0.2\]

우리의 목표는 번개가 칠 때 비가 올 확률 (Posterior)인 $P(💧\mid ⚡)$를 구하는 것이다.

이를 직관적으로 이해하려면, 번개가 치는 전체 경우 중에서 비가 오면서 번개가 치는 경우가 차지하는 비율을 계산하면 된다.

1. 번개가 칠 확률은 비가 오고 번개가 칠 확률과 비가 안 오고 번개가 칠 확률로 나눠서 표현할 수 있다.

   \[P(⚡)=P(⚡,💧)+P(⚡,💧\times)\]

   이를 확률의 곱의 법칙 $P(A,B)=P(B\mid A)P(A)$를 이용해 다음과 같이 계산할 수 있다.

   \[P(⚡)=P(⚡\mid 💧)P(💧)+P(⚡\mid 💧\times)P(💧\times) =0.7\times0.5+0.2\times0.5=0.45\]

2. 비가 오고 번개가 칠 확률은 다음과 같다.

   \[P(⚡,💧)=P(⚡\mid 💧)P(💧)=0.7\times0.5=0.35\]

3. 즉, 번개가 칠 때 비가 올 확률을 아래와 같이 계산할 수 있다.

   \[P(💧\mid ⚡)=\frac{P(⚡,💧)}{P(⚡)} =\frac{0.35}{0.45}=0.78\]

   이 식을 정리한 것이 식 (1)이다.

계산 결과, 우리는 내일 비가 올 확률을 50%에서 78%로 업데이트했다.

이처럼 번개가 친다는 새로운 정보(Evidence)를 이용해, 우리가 기존에 갖고 있던 믿음(Prior)을 새로운 지식(Posterior)으로 업데이트하는 과정을 베이즈 정리라고 한다.