[확률] 확률 분포

확률 분포는 확률 변수가 취할 수 있는 모든 값과 그 값이 나타날 확률을 대응시킨 관계를 나타낸다.

확률 분포는 확률 변수가 가질 수 있는 값의 형태에 따라 크게 두 가지로 나뉜다.

이산 확률 분포 (Discrete Probability Distribution)

이산 확률 분포는 확률 변수가 셀 수 있는 값을 가질 때의 확률 분포를 의미한다.

예를 들어 주사위 눈의 수는 $X\in{1,2,3,4,5,6}$처럼 가능한 값을 셀 수 있으므로, 이산 확률 변수에 해당한다.

이산 확률 분포에서는 각각의 값이 나타날 확률을 직접 정의할 수 있다.

\[P(X=x) \tag{1}\]

연속 확률 분포 (Continuous Probability Distribution)

연속 확률 분포는 확률 변수가 연속적인 값을 가질 때의 확률 분포를 의미한다.

예를 들어 사람의 키, 몸무게 등이 연속 확률 변수에 해당한다.

연속 확률 분포에서는 특정한 한 점이 나올 확률이 $0$으로 정의된다.

\[P(X=a)=0 \tag{2}\]

따라서 확률은 한 점이 아니라 구간에 대해 계산한다.

\[P(a\leq X\leq b)=\int_a^b f(x)dx \tag{3}\]

확률 분포를 나타내는 함수

PMF, PDF, CDF는 모두 확률분포를 나타내지만 서로 역할이 다르다.

• PMF: 이산 확률변수의 각 값에 대한 확률
• PDF: 연속 확률변수의 확률 밀도
• CDF: 특정 값 이하가 될 누적 확률

확률 질량 함수 (PMF - Probability Mass Function)

이산 확률 변수 $X$의 확률 질량 함수 $p_X(x)$는 다음과 같이 정의한다.

\[p_X(x)=P(X=x) \tag{4}\]

PMF 값은 실제 확률이므로 다음 조건을 만족한다.

\[p_X(x)\geq 0\quad,\quad\sum_{x\in\mathcal X} p_X(x)=1 \tag{5}\]

결합 확률 질량 함수 (Joint PMF)

두 이산 확률변수 $X,Y$의 Joint PMF는 다음과 같다.

\[p_{X,Y}(x,y)=P(\lbrace X=x\rbrace\cap\lbrace Y=y\rbrace) \tag{6}\]

전체 확률의 합은 $1$이다.

\[\sum_x\sum_y p_{X,Y}(x,y)=1 \tag{7}\]

주변 확률 질량 함수 (Marginal PMF)

Joint PMF에서 다른 확률변수의 값을 모두 합하면, 하나의 확률변수에 대한 Marginal PMF를 얻는다.

\[p_X(x)=\sum_y p_{X,Y}(x,y) \quad,\quad p_Y(y)=\sum_x p_{X,Y}(x,y) \tag{8}\]

확률 밀도 함수 (PDF - Probability Density Function)

연속 확률 변수 $X$의 확률 밀도 함수는 $f_X(x)$로 표기한다.

PDF는 다음 조건을 만족한다.

\[f_X(x)\geq 0\quad,\quad\int_{-\infty}^{\infty}f_X(x),dx=1 \tag{9}\]

중요한 점은 $f_X(x)$ 자체가 확률은 아니라는 것이다.

\[f_X(x)\neq P(X=x) \tag{10}\]

구간에 대한 확률은 PDF 아래의 넓이로 계산한다.

\[P(a\leq X\leq b)=\int_a^b f_X(x),dx \tag{11}\]

결합 확률 밀도 함수 (Joint PDF)

두 연속 확률변수 $X,Y$의 Joint PDF를 $f_{X,Y}(x,y)$라고 하면, 직사각형 영역에 포함될 확률은 다음과 같다.

\[\int_a^b\int_c^d f_{X,Y}(x,y),dy,dx \tag{12}\]

주변 확률 밀도 함수 (Marginal PDF)

결합 PDF에서 다른 확률변수를 전체 범위에 대해 적분하면 주변 PDF를 얻는다.

\[\int_{-\infty}^{\infty}f_{X,Y}(x,y),dy \quad,\quad \int_{-\infty}^{\infty}f_{X,Y}(x,y),dx \tag{13}\]

누적 확률 분포 (CDF - Cumulative Probability Distribution)

누적 분포 함수는 확률변수 $X$가 $x$ 이하의 값을 가질 확률을 의미한다.

\[F_X(x)=P(X\leq x) \tag{14}\]

CDF는 이산 확률 변수와 연속 확률 변수 모두에 대해 정의된다.

또한 모든 CDF는 다음 성질을 만족한다.

\[0\leq F_X(x)\leq 1\quad,\quad\lim_{x\to-\infty}F_X(x)=0\quad,\quad\lim_{x\to\infty}F_X(x)=1 \tag{15}\]

또한 CDF는 감소하지 않는 함수이다.

\[x_1<x_2 \quad\Longrightarrow\quad F_X(x_1)\leq F_X(x_2) \tag{16}\]

이산 확률변수의 CDF

이산 확률 변수에서는 $x$ 이하에 존재하는 PMF 값을 모두 더한다.

\[F_X(x)=\sum_{t\leq x}p_X(t) \tag{17}\]

따라서 이산 확률변수의 CDF는 계단 모양의 함수가 된다.

연속 확률변수의 CDF

PDF를 가지는 연속 확률 변수에서는 다음과 같이 정의된다.

\[F_X(x)=\int_{-\infty}^{x}f_X(t),dt \tag{18}\]

CDF가 미분 가능한 경우, PDF는 CDF의 미분으로 얻을 수 있다.

\[f_X(x)=\frac{d}{dx}F_X(x) \tag{19}\]