비제약 최적화 (Unconstrained Optimization) 아무런 제약 조건 없이, 목적 함수 $f(x)$의 값을 최소화하는 변수 $x$를 찾는 기본적인 최적화 문제이다. [x^*=\min_{x}f(x)] 최적해의 조건 어떤 지점이 최소점인지 판단하기 위한 수학적 조건으로, 1차 필요 조건과 2차 충분 조건이 있다. 이를 판별하기 위해...

최적화 (Optimization) 최적화는 주어진 제약 조건 아래에서, 특정 목적 함수의 값을 최대화 또는 최소화하는 결정 변수를 찾는 과정을 의미한다. 최적화 문제는 아래의 세 가지 요소로 구성된다. 목적 함수 (Objective Function): 최대화하거나 최소화하려는 대상 결정 변수 (Decision Variables): 값을 ...

최소 제곱법 (Least Square Method) 최소 제곱법은 연립 선형 방정식 $A\mathbf{x}=\mathbf{b}$의 해가 존재하지 않을 때, $\mathbf{b}$에 가장 가까운 근사식 $A\mathbf{x}=\hat{\mathbf{b}}$를 찾는 방법이다. 이때 가장 가깝다는 뜻은 오차 벡터 $\mathbf{b}−A\mathbf{x...

최대 사후 추정 (MAP - Maximum a Posteriori Estimation) MLE에서 사전 확률 $p(\theta)$를 고려한 것으로, 베이즈 정리를 사용한다. [\hat{\theta}_{MAP} =\underset{\theta}{\text{argmax}}~p(\theta\mid X) =\underset{\theta}{\text{arg...

머신 러닝에서의 우도 모델의 파라미터를 $\theta$, 데이터 집합을 $X$라고 하자. (데이터 행렬 참고) 머신 러닝에서 우도는 모델 파라미터 $\theta$가 주어졌을 때, 특정 데이터 $X$가 관측될 가능성을 나타낸다. [L(\theta)=p(X\mid\theta)] 직관적으로 해당 파라미터가 주어진 데이터를 얼마나 잘 표현하는지를 평가...

다변수 스칼라 함수 $f:\mathbb{R}^n\to\mathbb{R}$에 대해, 각 입력 변수에 대한 2차 편미분을 모은 행렬을 헤시안이라고 한다. 헤시안은 그래디언트를 입력 변수에 대해 다시 미분한 것으로 볼 수 있다. [H=\nabla_{\mathbf x}^2 f(\mathbf x) \frac{\partial}{\partial \mathbf ...

미분은 입력값을 아주 조금 변화시켰을 때 출력값이 얼마나 변하는지를 나타내는 개념이다. 함수 $f:\mathbb{R}\to\mathbb{R}$의 점 $x$에서 미분계수는 다음과 같이 정의한다. [f’(x)=\lim_{\Delta x\to0}\frac{f(x+\Delta x)-f(x)}{\Delta x} \tag{1}] 여기서 $\Delta y=f...

독립 항등 분포 (i.i.d. - Independent and Identically Distributed) 확률 변수나 데이터 샘플들이 서로 독립적이며 동일한 확률 분포를 따른다는 가정을 의미한다. 독립 (Independent) 각각의 데이터 샘플 또는 확률 변수가 서로 영향을 미치지 않고 독립적으로 발생한다는 의미이다. 동일한 분포를 따름 (...

단변량 가우시안 분포 (Univariate Gaussian Distribution) 확률 변수 $X$가 따르는 가우시안 분포는 아래와 같이 정의된다. 가우시안 분포는 정규 분포 (Normal Distribution)라고도 불린다. [\mathcal{N}(x\mid\mu~,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^2}}\ex...

공분산 (Covariance) 공분산은 두 확률 변수 간의 상관관계를 나타내는 값이다. [\text{Cov}(X,Y)=\mathbb E_{X,Y}[(x-\mu_X)(y-\mu_Y)]=\mathbb E_{X,Y}[xy]-\mathbb E[x]\mathbb E[y] \tag{1}] $\text{Cov}(X,Y)=0$ → $X$와 $Y$의 증가/...