기저 (Basis) 벡터 공간의 기저란, 공간 전체를 span할 수 있는 선형 독립인 벡터들의 집합을 말한다. 쉽게 말해, 벡터 공간 $\mathcal{V}$의 기저가 $\lbrace\mathbf{b}_1,\dots,\mathbf{b}_N\rbrace$일 때, 벡터 공간 $\mathcal{V}$에 존재하는 어떠한 벡터 $\mathbf{v}$라도 기...

선형 결합 (Linear Combination) 선형 결합이란 각 벡터에 상수를 곱하고 그 결과를 더한 형태의 표현식을 의미한다. 벡터를 상수배하고 더하는 두 가지 기본 연산으로 이루어져 있는 1차식 형태이기 때문에 선형이고, 여러 개의 벡터를 함께 사용하여 새로운 벡터를 만들어내기 때문에 결합이라고 표현한다. [\mathbf{v}=c_1\mat...

벡터 공간 (Vector Space) 임의의 집합 $\mathcal{V}$와 스칼라들의 집합 $\mathcal{F}$가 있을 때, 아래 조건을 만족하는 집합 $\mathcal{V}$를 벡터 공간이라고 한다. 집합 $\mathcal{V}$는 공집합이 아니다. 집합 $\mathcal{V}$에 벡터 덧셈 ($+$)과 스칼라 곱셈 ($\cdot$...

물리적 벡터 크기와 방향을 모두 가진 양을 벡터라고 부르며, 크기만 가진 양을 스칼라라고 부른다. 위치벡터: 공간에서 점의 위치를 나타내는 벡터로, 원점을 시점으로 한다. 방향벡터: 직선이나 움직임의 방향을 나타내는 벡터로, 크기는 신경 쓰지 않는다. 수학적 벡터 벡터 공간의 원소를 벡터라고 부른다. 벡터는 열 벡터 (column ...

📄 관련 논문: [arXiv 2019] Fast Transformer Decoding: One Write-Head is All You Need 📄 관련 논문: [EMNLP 2023] GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints 캐시(Cache...

IoU (Intersection over Union) IoU는 모델이 예측한 영역과 실제 정답 영역이 얼마나 겹치는지를 나타내는 지표이다. 주로 Object Detection과 Semantic Segmentation에서 사용된다. [\text{IoU}=\frac{\text{Area of Overlap}}{\text{Area of Union}}] ...

Accuracy, Precision, Recall, F1 Score는 특정 임계값을 고정한 상태에서 계산한 지표이다. 예를 들어, classification이나 segmentation에서는 확률값이 일정 기준을 넘어야 정답으로 판정하며, object detection 또한 바운딩박스의 IoU 임계값과 신뢰도 기준이 먼저 정해져야 한다. 이에 반해 ...

혼동행렬 (Confusion Matrix) 모델의 예측 결과를 실제 정답과 비교하여 [출처] Positive/Negative는 모델이 예측한 값을, True/False는 그 예측이 맞았는지 틀렸는지를 의미한다. TP (True Positive) : 실제 Positive인 것을 Positive라고 올바르게 예측한 경우 TN (True ...

📄 관련 논문: [ICCV 2021] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows ViT의 한계점 고정된 토큰 스케일 기존 ViT는 입력 이미지를 동일한 크기의 패치들로 쪼갠 뒤, 이 패치 하나하나를 언어 모델의 토큰처럼 취급한다. 또한 이 $16\times16...