터미널과 쉘의 차이 터미널은 단순히 글자를 보여주는 창이고, 쉘은 실제 명령을 실행하는 엔진이라고 생각하면 된다. 터미널: 사용자가 키보드로 명령어를 입력하고, 컴퓨터가 출력하는 결과를 모니터로 볼 수 있게 해주는 단순한 인터페이스이다. 쉘: 터미널 창에 입력된 문법이 맞는지 검사하고, 실제 프로그램을 실행시키며, 그 결과를 다시 터미널에...

네트워크, 호스트, IP, 포트는 동네와 건물에 비유해서 쉽게 이해할 수 있다. 네트워크: 건물이 모여 있는 동네 호스트: 동네에 세워진 건물 IP: 건물을 찾아가기 위한 주소 포트: 건물 내에 있는 각 방의 번호 호스트 (Host) 호스트는 네트워크에 연결되어 데이터를 주고받을 수 있는 기기 그 자체를 의미한다. 예를 들...

PSNR (Peak Signal-to-Noise Ratio) PSNR은 이미지의 픽셀 값 차이를 기반으로 영상 손실 정도를 평가하는 지표이다. [\text{PSNR}=10\log_{10}\left(\frac{\text{MAX}_I^2}{\text{MSE}}\right)] 위의 식에서 $\text{MAX}_I$는 이미지 픽셀이 가질 수 있는 최댓값...

의존성(Dependency) 충돌은 라이브러리들끼리 필요한 버전이 서로 맞지 않아서 생기는 문제다. 개발 환경을 맞추다 보면 자주 겪게 되고, 해결하기도 꽤 까다롭다. 충돌을 최대한 줄일 수 있는 가장 확실한 순서는 다음과 같다. torch와 CUDA 버전 확정 torch에 묶이는 라이브러리 설치 ...

IS (Inception Score) IS는 생성된 이미지가 얼마나 고품질이고 얼마나 다양한지를 동시에 평가하는 지표이다. 이 지표는 생성된 이미지 $x$를 Inception 모델에 통과시켜 평가한다. [\text{IS}=\exp\left(\mathbb{E}{x\sim p_g}\left[D{KL}(p(y\mid x)~ ...

PyTorch에서 GPU를 사용하려면 단순히 NVIDIA GPU가 있다고 끝나는 것이 아니다. GPU를 사용하려면 NVIDIA Driver, PyTorch의 CUDA Runtime, PyTorch 버전, Python 버전, GPU 아키텍처가 서로 호환되어야 한다. NVIDIA Driver가 PyTorch의 CUDA Runtime을 지원해야 한...

📄 관련 논문: [NeurIPS 2022] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness 📄 관련 논문: [ICLR 2024] FlashAttention-2: Faster Attention with Better Parallelism and Work Partiti...

이 포스트는 Jia-Bin Huang님의 This Simple Optimizer Is Revolutionizing How We Train AI [Muon] 영상을 참고하였습니다. 기존 Adam optimizer의 한계 1. 메모리 효율성 문제 Adam의 업데이트 공식은 아래와 같으며, 각 파라미터마다 평균 $m$과 분산 $v$ 2개의 변수를 추가...

Epipolar Geometry는 3차원 공간을 서로 다른 두 지점에서 촬영했을 때, 두 이미지 사이의 기하학적 관계를 다루는 이론이다. 구성 요소 아래 그림은 3차원 공간상의 한 점 $P$가 카메라 $A$의 이미지 센서에는 $p$에 투영되고, 카메라 $B$의 이미지 센서에는 $p’$에 투영된 경우이다. [출처] Baseline: 두 카...

사원수 (Quaternion) 사원수는 복소수를 확장한 개념으로, 1개의 실수부와 3개의 허수부로 표현한 4차원 수체계를 의미한다. [\vphantom{\Big(} q=w+xi+yj+zk] 위의 식은 $q=(w,x,y,z)$로도 표현되며, $w,x,y,z$는 실수, $i,j,k$는 서로 직교하는 허수 단위를 나타낸다. 허수들은 아래의 규칙을 만...