행렬의 Norm은 벡터의 Norm 개념을 행렬에 확장한 것으로, 행렬의 크기를 측정하는 척도이다. Norm의 조건 행렬 Norm도 벡터 Norm과 같이 만족해야 할 조건이 필요하다. Absolutely Homogeneous $\lVert\lambda A\rVert=\lambda\lVert A\rVert$ ...

단변량 확률 변수 (Univariate Random Variable) 기대값 (Expectation) 기대값은 확률 변수의 평균적인 값을 나타낸다. 이산형 확률 변수에서의 기대값은 아래와 같이 정의된다. [\mathbb{E}[X]=\sum_x x\cdot p_X(x)] 연속형 확률 변수에서의 기대값은 아래와 같이 정의된다. [\mathbb{...

베이즈 정리 베이즈 정리는 새로운 정보를 바탕으로 기존의 믿음을 업데이트하는 방법을 수학적으로 설명한 이론이다. 다시 말해, 이미 알고 있는 사전 확률과 새로운 정보인 우도를 이용해 사후 확률을 계산하는 공식이다. 공식은 다음과 같다. [P(B|A)=\frac{P(B)P(A|B)}{P(A)} \tag{1}] 사전 확률 (Prior) 사전 확...

독립 (Independence) 두 사건이 독립이란 것은 한 사건의 발생이 다른 사건의 발생에 영향을 주지 않는다는 것을 의미한다. 두 사건 $A$와 $B$가 독립인 경우, 아래와 같이 표현한다. [P(A,B)=P(A)P(B) \tag{1}] 두 사건이 독립이라는 것과 동시에 일어날 수 없다는 다른 의미이다. 예를 들어, 동전과 주사위를 던질...

입력 데이터의 관점 SVD를 통해 행렬 $A$를 $U\Sigma V^\top$으로 분해할 수 있고, 이는 아래와 같이 표현할 수 있다. [A=U\Sigma V^\top=\sum_{i=1}^r\sigma_i\mathbf{u}i\mathbf{v}_i^\top=\sum{i=1}^r\sigma_iA_i \tag{1}] $r$은 $0$이 아닌 특이값의 개...

결합 확률 (Joint Probability) 결합 확률은 두 개 이상의 사건이 동시에 일어날 확률을 의미한다. 어떤 사건 $A$와 $B$가 동시에 일어날 결합 확률은 집합 기호를 사용하여 다음과 같이 표기한다. [P(A\cap B)=P(A,B) \tag{1}] 이를 확률 변수 차원으로 확장해보자. 확률 변수 $X$가 특정 값 $x$를 가지고...

확률 분포는 확률 변수가 취할 수 있는 모든 값과 그 값이 나타날 확률을 대응시킨 관계를 나타낸다. 확률 분포는 확률 변수가 가질 수 있는 값의 형태에 따라 크게 두 가지로 나뉜다. 이산 확률 분포 (Discrete Probability Distribution) 이산 확률 분포는 확률 변수가 셀 수 있는 값을 가질 때의 확률 분포를 의미한다. ...

특이값 분해 (SVD - Singular Value Decomposition) SVD는 EVD와 달리 정사각 행렬이 아니어도 적용할 수 있으며, 임의의 행렬 $A \in \mathbb{R}^{m \times n}$를 다음 세 행렬의 곱으로 분해할 수 있다. [A=U\Sigma V^\top \tag{1}] $U$: 각 열이 $A$의 ...

확률 변수 (Random Variable) 확률 변수란 표본 공간의 각 사건을 실수로 매핑하는 함수이다. [X:\Omega\to\mathbb{R} \tag{1}] 확률 변수를 통해 확률 개념을 숫자로 변환하여 수학적으로 분석할 수 있게 된다. 확률 변수는 함수의 역할을 하지만, 하나의 값처럼 취급되기 때문에 변수라고 명명하였다. 일반적으로 아...