일반적인 딥러닝 모델은 연산과 가중치 저장에 FP32를 사용한다. 하지만 AMP를 적용하면 네트워크 내부의 연산 특성에 맞춰 FP32와 FP16 또는 BF16을 자동으로 섞어서 사용하게 된다. 즉, VRAM을 절약하고 학습 속도를 증가시킬 수 있다. AMP는 성능 저하 없이 연산을 가속하기 위해 크게 두 가지 메커니즘을 사용한다. ...

기존 이론에서는 모델의 크기와 복잡도가 커질수록 학습 데이터의 노이즈까지 학습하여 과적합(Overfitting)이 발생하고, 이로 인해 테스트 오차가 다시 증가한다는 U자형의 Bias-Variance Tradeoff 곡선을 정설로 여겼다. [출처] 하지만 모델의 크기를 더욱 키우면, 오히려 테스트 오차가 다시 줄어드는 Double Descent ...

코어(Core)란? 코어(Core)는 컴퓨터에서 실제로 수학적 계산을 수행하고 명령을 처리하는 물리적인 일꾼을 의미한다. CPU Core: 복잡하고 다양한 종류의 명령을 순차적으로 빠르게 처리하는 데 특화된 소수 정예 일꾼 OS 구동, 일반적인 프로그램 실행 등 컴퓨터의 전반적인 제어와 복잡한 논리 연산을 지휘 ...

부동소수점 (Floating Point) 부동소수점(Floating Point)이란 컴퓨터가 소수점이 있는 실수를 메모리에 저장하고 표현하는 방식 중 하나이다. 부동소수점의 ‘부동’은 고정의 뜻이 아니라, 떠다닌다는 뜻이다. 즉, 소수점의 위치를 한 곳에 고정하지 않고 자유롭게 옮겨가며 숫자를 표현한다는 의미이다. Fixed Point v...

편광에 대해 알기 전에 먼저 빛의 원리에 대해서 알아보자. 빛은 전자기파로, 진행 방향에 수직으로 진동하며 나아간다. 전자기파 (Electromagnetic Wave)란? 공간에서 전기장과 자기장이 서로 유도하면서 주기적으로 진동해 파동 형태로 퍼져나가는 에너지로, 아래의 3가지 특징을 가지고 있다. 전기장과 자기장이 ...

accelerate는 Hugging Face에서 개발한 파이썬 라이브러리 중 하나로, 복잡한 분산 학습 코드를 단 몇 줄로 줄여주는 역할을 한다. 코드 상단에서 Accelerator 객체를 하나 만들고 내 모델과 데이터 로더를 prepare()라는 함수에 통과시키기만 하면, 코드가 실행되는 환경 (Single-GPU, Multi-GPU 등)을 자동으...