[확률] 결합 확률 / 주변 확률 / 조건부 확률
결합 확률 (Joint Probability)
결합 확률은 두 개 이상의 사건이 동시에 일어날 확률을 의미한다.
어떤 사건 $A$와 $B$가 동시에 일어날 결합 확률은 집합 기호를 사용하여 다음과 같이 표기한다.
\[P(A\cap B)=P(A,B) \tag{1}\]이를 확률 변수 차원으로 확장해보자.
확률 변수 $X$가 특정 값 $x$를 가지고, 확률 변수 $Y$가 특정 값 $y$를 동시에 가질 결합 확률 분포는 다음과 같이 표기한다.
주변 확률 (Marginal Probability)
주변 확률은 결합 확률 분포에서 하나의 사건에만 관심을 두고 계산한 확률을 의미한다.
어떤 사건 $A$에 대한 주변 확률은 다음과 같이 표기한다.
\[P(A)=\sum_{i} P(A \cap B_i) \tag{3}\]이를 확률 변수 차원으로 확장해보자.
다른 확률 변수 $Y$가 어떤 값을 가지든 상관없이, 관심 대상인 확률 변수 $X$가 특정 값 $x$를 가질 주변 확률 분포는 다음과 표기한다.
Marginalization
결합 확률 분포 $p_{X,Y}(x,y)$에서 관심 없는 변수 $Y$의 모든 가능한 경우의 확률을 더하거나 적분하여 주변 확률 $p_X(x)$를 구하게 되는데, 이렇게 특정 확률 변수를 제거하는 과정을 Marginalization이라고 한다.
확률 변수가 이산형인지 연속형인지에 따라 다음과 같이 계산한다.
\[p_X(x) = \sum_{y} p_{X,Y}(x,y) \quad\text{or}\quad p_X(x) = \int_{y} p_{X,Y}(x,y) \tag{5}\]이렇게 결합 확률에서 특정 확률 변수를 제거하여 주변 확률을 구하는 과정을 Marginalization라고 한다.
조건부 확률 (Conditional Probability)
조건부 확률은 어떤 사건이 이미 일어났다는 조건 하에, 다른 사건이 일어날 확률을 의미한다.
사건 $B$가 일어났을 때, 사건 $A$가 일어날 조건부 확률은 다음과 같이 표기한다.
\[P(A\mid B)=\frac{P(A,B)}{P(B)} \tag{6}\]이를 확률 변수 차원으로 확장해보자.
확률 변수 $Y$가 특정 값 $y$를 가졌다는 조건 하에, 확률 변수 $X$가 특정 값 $x$를 가질 조건부 확률 분포는 다음과 같이 표기한다.
조건부 결합 확률 (Conditional Joint Probability)
조건부 결합 확률은 어떤 사건이 이미 일어났다는 조건 하에, 다른 여러 사건이 동시에 일어날 확률을 의미한다.
사건 $C$가 일어났을 때, $A$와 $B$가 동시에 일어날 조건부 확률은 다음과 같이 표기한다.
\[P(A,B\mid C) \tag{8}\]조건부 주변 확률 (Conditional Marginal Probability)
조건부 주변 확률은 어떤 사건이 이미 일어났다는 조건 하에, 하나의 사건에만 관심을 두고 계산한 확률을 의미한다.
사건 $C$가 일어났을 때, 다른 사건 $B$의 모든 가능한 경우의 수($B_i$)에 상관없이 $A$만 일어날 조건부 확률은 다음과 같이 표기한다.
\[P(A\mid C)=\sum_{i} P(A \cap B_i \mid C) \tag{9}\]Example 1
한 명을 선택했을 때 남성인 경우를 $A$, 완주한 경우를 $B$라고 하자.
결합 확률
남성이면서 완주한 사람의 확률
\[P(A,B)=\]주변 확률
한 명을 선택했을 때 남성일 확률
\[P(A)=\]조건부 확률
남성 중에서 완주한 사람
\[\]Example 2
결합 확률
\[P(X=2,Y=1)=\frac{1}{20}\]주변 확률
\[P(X=4)=p_{X,Y}(4,1)+p_{X,Y}(4,2)+p_{X,Y}(4,3)+p_{X,Y}(4,4)=0+\frac{2}{20}+\frac{1}{20}+0=\frac{3}{20}\]조건부 확률
\[P(X=2\mid Y=3)=\frac{P(X=2,Y=3)}{P(Y=3)}=\frac{\frac{1}{20}}{\frac{2}{20}+\frac{4}{20}+\frac{1}{20}+\frac{2}{20}}=\frac{1}{9}\]