[비전 생성 모델] DDPM (Denoising Diffusion Probabilistic Models)
📝 NeurIPS 2020
Sunho
[비전 생성 모델] 디퓨전 모델의 직관적 이해
디퓨전 모델 (Diffusion Model)은 간단하게, 깨끗한 상태의 이미지를 점진적으로 파괴하여 무작위 노이즈로 만드는 과정을 역으로 학습함으로써, 노이즈에서 깨끗한 이미지로 복원해 나가는 방법을 배우는 생성 모델이다. [출처] Forward process (Diffusion process) Forward process는 깨끗한 상태의 이미...
[비전 생성 모델] GAN (Generative Adversarial Network)
GAN GAN은 크게 생성자 (Generator)와 판별자 (Discriminator)로 구성되어 있다. Generator는 실제와 유사한 데이터를 생성하는 역할을 하며, Discriminator는 입력 데이터가 실제인지 가짜인지 구별하는 역할을 한다. 이름에서 알 수 있듯이, Generator와 Discriminator라는 두 개의 신경망이 서로...
[비전 생성 모델] VQ-VAE와 VQ-GAN
📄 관련 논문: [NeurIPS 2017] Neural Discrete Representation Learning 📄 관련 논문: [CVPR 2021] Taming Transformers for High-Resolution Image Synthesis VQ (Vector Quantization)는 연속적인 벡터를 이산적인 코드로 변환하는 과정이다....
[비전 생성 모델] VAE (Variational Auto Encoder)
AE (Auto Encoder) AE는 인코더-디코더 구조를 가진다. 인코더는 입력 $\mathbf{x}$를 잠재 벡터 $\mathbf{z}$로 압축하며, 디코더는 이 $\mathbf{z}$를 이용해 복원한다. 이때, $\mathbf{z}$는 고정된 벡터이다. [출처] VAE (Variational Auto Encoder) VAE는 AE와 ...
[최적화] 수학적 최적화 (Mathematical Optimization)
선형 계획법 (LP - Linear Programming) 목적함수와 제약조건이 모두 선형식으로 표현된 최적화 문제를 의미한다. [\begin{aligned}\vphantom{\Big(} \min_{\mathbf x\in\mathbb{R}^d}~\mathbf c^\top\mathbf x~~~~~~~~ \text{subject to}~A\mathbf...
[최적화] 라그랑주 쌍대 문제 (Lagrange Dual Problem)
쌍대 문제 (Dual problem) 원래의 최적화 문제 (Primal problem)를 직접 푸는 대신, 이와 관련된 다른 문제인 쌍대 문제 (Dual problem)를 풀어서 해를 유도하거나 문제의 하한 (Lower Bound)을 구할 수 있다. 즉, primal 문제는 원래의 최적화 문제, dual 문제는 새롭게 정의한 최적화 문제를 의미한다...
[최적화] 부등식 제약 최적화와 KKT 조건
부등식 제약 최적화 (Inequality Constrained Optimization) 부등식 제약 조건을 만족하면서, 목적 함수 $f(x)$의 값을 최소화하는 변수 $x$를 찾는 최적화 문제이다. [\begin{aligned} \mathbf{x}^*=\min_{\mathbf{x}}f(\mathbf{x})~~~~ \text{subject to}~g...
[최적화] 등식 제약 최적화와 라그랑주 승수법 (Lagrange Multiplier Method)
등식 제약 최적화 (Equality Constrained Optimization) 등식 제약 조건을 만족하면서, 목적 함수 $f(x)$의 값을 최소화하는 변수 $x$를 찾는 최적화 문제이다. [\begin{aligned} \mathbf{x}^*=\min_{\mathbf{x}}f(\mathbf{x})~~~~ \text{subject to}~g(\ma...
[확률] 마르코프 체인 (Markov Chain)
마르코프 체인은 마르코프 성질을 지닌 이산 확률 과정(Discrete Stochastic Process)을 의미한다. 마르코프 성질: 어떤 시스템의 다음 상태는 오직 현재의 상태에만 영향을 받으며, 그 이전의 과거는 상관이 없다는 성질 이산 확률 과정: 이산적인 시간의 변화에 따라 확률이 변화하는 과정 이를 조건부 확률 수식으로 표현하면...