📄 관련 논문: [ICCV 2023] Scalable Diffusion Models with Transformers DiT는 기존 디퓨전 모델에서 표준처럼 사용되던 U-Net 백본을 Transformer 아키텍처로 대체한 모델이다. DiT 모델의 파이프라인은 다음과 같다. DiT 또한 LDM처럼 latent 공간에서 동작하기 때문에, VAE ...

아래의 코드를 기본적인 모델 학습 구조로 가정하겠다. import torch import torch.nn as nn from torch.utils.data import DataLoader device = 'cuda' if torch.cuda.is_available() else 'cpu' class Model(nn.Module): def _...

PyTorch에는 GPU 병렬 처리를 위한 두 가지 방식 (DP, DDP)이 있다. DP (Data Parallel) DP는 단일 프로세스 (Single-process), 멀티 스레드 (Multi-thread) 방식으로 동작한다. 즉, 하나의 파이썬 프로세스 내에서 여러 개의 스레드를 생성하여 작업을 분산한다. 스레드는 물리적으로 동일한 컴퓨터...

딥러닝 모델의 학습 과정은 크게 loss를 계산하는 순전파 (Forward pass), 각 파라미터의 그래디언트를 계산하는 역전파 (Backward pass), 그리고 계산된 그래디언트를 이용해 실제로 파라미터를 업데이트하는 옵티마이저 스텝 (Optimizer Step)으로 이루어진다. 이 과정에서 GPU 메모리 (VRAM)는 크게 4가지 영역으...

우리가 LLM API를 호출할 때는 주로 아래와 같은 형식으로 데이터를 전달한다. 이는 원래 OpenAI의 Chat Completions API에서 사용하는 표준 포맷이지만, 현재는 거의 모든 LLM 생태계에서 사실상 표준으로 자리 잡은 구조다. { model: "", messages=[ {"role": "", "co...

최근 LLM 모델이 매우 커짐에 따라, serving 비용 또한 매우 증가하고 있다. vLLM은 이러한 거대 LLM을 실제 환경에서 serving하기 위해 사용하는 전용 프레임워크다. vLLM 사용하기 기본적으로 로컬 환경에서 vLLM 서버를 실행하는 명령어는 다음과 같다. 현재 작업 중인 환경 (내 PC 또는 서버)에 파이썬, vLLM, CU...

GP 기반의 베이지안 최적화 vs TPE TPE는 베이지안 최적화의 한 종류로, Surrogate Model을 구성하는 방식이 GP 기반 BO와 다른 알고리즘이다. 다만 두 방식은 Surrogate Model이 모델링하는 확률 분포의 방향이 서로 반대이다.   GP 기반 BO TPE ...

베이지안 최적화란? 베이지안 최적화 (BO)는 과거의 탐색 결과를 바탕으로 목적함수에 대한 확률 모델을 업데이트하고, 이를 이용해 다음에는 어디를 탐색하는 것이 가장 이득일지 결정하는 블랙박스 함수 최적화 알고리즘이다. 쉽게 말해, 지금까지 가본 곳들의 결과를 종합해서 다음엔 어느 지점이 제일 성능이 좋을지를 추측하는 방식이다. 베이지안 최적화은...

HPO (HyperParameter Optimization)는 머신러닝 모델의 최적 성능을 끌어내기 위해 하이퍼파라미터를 튜닝하는 알고리즘을 말한다 수많은 하이퍼파라미터 조합을 사람이 일일이 테스트하는 것은 엄청난 시간과 비용이 소모되는 비효율적인 작업이다. 따라서 보다 효율적으로 탐색하기 위해 다양한 HPO 알고리즘을 활용한다. Grid Sea...

Wandb는 머신러닝 실험을 트래킹하고, 시각화해주는 MLOps 플랫폼이다. 1. 먼저, 터미널에서 아래 명령어를 실행해 패키지를 설치하고 로그인해야 한다. pip install wandb wandb login 위 명령어를 입력하면 API 키를 입력하라는 창이 뜰 것이다. Wandb에 접속해서 회원가입을 하면, API key가 발급되는데, ...