[논문리뷰] FILT3R: Latent State Adaptive Kalman Filter for Streaming 3D Reconstruction

[Paper] [GitHub]

💡 해당 포스터에 정리한 내용은 제가 논문을 읽고 이해한 흐름대로 내용을 재구성하여 작성했습니다. 따라서 글의 소제목 및 수식 번호는 실제 논문의 구성과 다를 수 있습니다!

1. Introduction

1-1. Motivation

스트리밍 3D 재구성 (Streaming 3D reconstruction)은 끊임없이 들어오는 이미지 프레임으로부터 3D 공간을 실시간으로 복원하는 기술로, 메모리 사용량과 latency를 낮게 유지하는 것이 필수적이다.

예를 들어, 카메라가 방 내부를 이동하며 촬영할 때 연속적으로 들어오는 프레임들을 처리하여 방의 공간 구조를 복원하는 상황을 떠올려 볼 수 있다.

그 중, 순환형 스트리밍 모델 (Recurrent streaming model)들은 과거의 3D 공간의 정보 (persistent latent token)를 유지하며, 프레임이 들어올 때마다 이를 업데이트하는 방식을 사용한다.

하지만 이러한 방식은 모델이 학습했던 시퀀스 길이를 초과하는 긴 영상이 들어올 때 성능이 급격히 저하되고, 최근 프레임에서 보이지 않는 과거의 유용한 3D 정보들을 점차 잊어버리게 되는 문제가 존재한다.

결국 순환형 스트리밍 3D 재구성 모델은 다음의 딜레마를 해결해야 한다.

• 빠른 적응 (Fast adaptation): 방금 들어온 새로운 관측치를 얼마나 믿을 것인가?
• 장기적 일관성 (Long-term consistency): 과거부터 누적해 온 기존 3D 정보를 얼마나 믿고 유지할 것인가?

1-2. Limitations of Existing Methods

기존 모델들은 이 딜레마를 해결하기 위한 업데이트 규칙 $\mathbf{s}_t = (1 - \beta_t) \odot \mathbf{s}_{t-1} + \beta_t \odot \tilde{\mathbf{s}}_t$ 에서 업데이트 비율 $\beta_t$를 결정할 때 한계를 보였다.

• CUT3R: $\beta_t=1$로 설정하여, 항상 새로운 관측치만 100% 신뢰한다. 하지만 이러한 방식은 과거의 정보를 단 1프레임 만에 지워버리는 catastrophic forgetting을 초래한다.
• TTT3R: 어텐션 통계를 기반으로 $\beta_t$를 조절하여 안정성을 높였지만, 여전히 heuristic인 방식에 불과하다.

1-3. Contributions

• 스트리밍 3D 재구성 문제를 latent token 공간에서의 확률적 상태 추정 문제로 재정의하였다.

• 고전적인 Adapative Kalman Filter (AKF) 패러다임을 따라, 측정 노이즈는 고정하고 프로세스 노이즈만 상황에 따라 적응적으로 변화하도록 설계했다.

  이를 통해 정적인 장면에서는 기존의 latent token의 확신이 강해져 kalman gain이 감소하고 유효 기억 시간이 연장되며, 장면이 급변할 때는 프로세스 노이즈가 커지며 새로운 관측치에 빠르게 적응하게 되었다.

• 제안하는 기법은 Training-free, Plug-and-play이다.
• 짧고 긴 다양한 스트리밍 환경에서 평가한 결과, 불확실성을 인지하는 FILT3R의 gain 조절 방식이 기존 베이스라인들을 일관되게 뛰어넘으며 길이 일반화 (Length generalization)와 장기 안정성을 획기적으로 개선함을 입증했다.

2. Methods

2-1. Problem formulation

먼저 논문에서 사용하는 기호들을 기존 칼만 필터에서의 기호들과 비교하여 정리하였다.

논문에서의 기호	칼만 필터에서의 기호	설명
$\mathbf{s}_t$	$\hat{\mathbf{x}}_k$	최종 상태 추정값 (Posterior estimate) 메모리에 저장되어 다음 스텝으로 전달되는 state
$\mathbf{s}_{t-1}$	$\hat{\mathbf{x}}_k^-$	모델의 사전 상태 추정값 (Prior estimate) 이전 시점의 상태를 기반으로, 모델이 예측한 현재의 state
$\tilde{\mathbf{s}}_t$	$\mathbf{z}_k$	센서의 측정값 (Measurement) 디코더 (센서)가 현재 프레임 (입력)을 통해 추출한 candidate state

논문에서는 $\mathbf{s}_t$는 Belief (시스템이 추정하여 누적해 온 최적의 상태 추정값), $\tilde{\mathbf{s}}_t$를 Noisy measurement (노이즈가 섞인 불완전한 측정값)라고 표현한다.

앞으로 나올 latent state와 state token이라는 용어는 사실상 같은 대상을 가리키는 말이지만, 뉘앙스가 살짝 다르다.

• Latent state: 3D 공간의 기하학적 정보나 맥락을 담고 있는 정보
• State token: 이러한 latent state를 딥러닝 모델이 처리할 수 있도록 만들어 놓은 벡터

시스템에 하나의 프레임이 입력되면, 각각 $D$ 차원을 가지는 $N$개의 토큰으로 분할된다.
시스템은 기본적으로 매 스텝마다 3D 공간의 정보를 담고 있는 state token $\mathbf{s}_t\in\mathbb{R}^{N\times D}$를 지속적으로 유지한다.

확률적 상태 공간 모델 (Stochastic State-Space Model)

논문에서는 3D 재구성 과정을 확률적 상태 공간 모델로 해석하였다.
즉, 우리가 알고 싶은 true state는 숨겨져 있고, 우리가 볼 수 있는 건 오차가 섞인 관측값뿐이다는 것이다.

토큰 공간에서의 변화를 다음과 같은 수식으로 정의하였다.

\[\mathbf{s}_t=\mathbf{s}_{t-1}+\mathbf{w}_t~~,~~\mathbf{w}_t\sim\mathcal{N}(\mathbf{0},\mathbf{Q}_t) \tag{1}\] \[\tilde{\mathbf{s}}_t=\mathbf{s}_t+\mathbf{v}_t~~,~~\mathbf{v}_t\sim\mathcal{N}(\mathbf{0},\mathbf{R}) \tag{2}\]

• 식 (1)은 상태 방정식 (State Equation)이다.

  현재 3D 공간의 true latent state $\mathbf{s}_t$는 기본적으로 직전 시점의 상태 $\mathbf{s}_{t-1}$와 동일하되, 1프레임 동안 발생한 물리적인 변화 $\mathbf{w}_t$만큼 더해져 변한다는 의미이다.

  예를 들어, 카메라가 이동하면 이전 이미지 프레임에서는 보이지 않던 물체가 새롭게 시야에 나타나면서 latent state가 변할 수 있다. 이렇게 연속된 이미지 프레임 사이에서 latent state가 얼마나 역동적으로 변할 것인지를 나타내는 불확실성의 크기를 $\mathbf{Q}_t$로 표기하였고, 이는 칼만 필터에서 프로세스 노이즈 (process noise) 공분산에 해당한다.

• 식 (2)는 관측 방정식 (Observe Equation)이다.

  디코더가 현재의 이미지 프레임만을 보고 추론해 낸 후보 state token $\tilde{\mathbf{s}}_t$는 true latent state $\mathbf{s}_t$에 디코더 자체의 오차 $\mathbf{v}_t$ (일종의 불완전한 센서 노이즈)가 섞여 있는 관측치라는 의미이다.

  디코더 모델의 예측 결과를 얼마나 신뢰할 수 있는지, 즉 이 센서 노이즈가 가지는 불확실성의 크기를 $\mathbf{R}$로 표기하였고, 이는 칼만 필터에서 측정 노이즈 (measurement noise) 공분산에 해당한다.

FILT3R에서 가장 중요한 설계 중 하나는 측정 노이즈 공분산 $\mathbf{R}$을 시간에 따라 변하지 않는 상수 대각 행렬 $\mathbf{R} = r\mathbf{I}$로 설정했다는 것이다.

저자가 말하길 두 가지 이유가 있다고 한다.

1. 디코더는 사전에 학습이 완료되어 가중치가 고정된 네트워크다. 따라서 디코더의 예측 퀄리티는 현재 3D 공간이 얼마나 역동적인지 (Scene dynamics)와는 무관하며, 오직 디코더 자체의 아키텍처와 학습된 데이터에 의해서만 결정된다.

   이는 제어 공학에서 우리가 사용 중인 하드웨어 센서의 자체적인 오차 스펙은 이미 알고 있다고 가정하는 표준적인 접근법과 동일한 맥락이라고 한다.

2. 만약 상황에 따라 $\mathbf{Q}_t$와 $\mathbf{R}_t$가 모두 변하도록 허용한다면, 장면이 갑작스럽게 전환되어 관측 오차가 크게 발생했을 때, 모델은 이것이 실제 3D 공간이 급변한 것인지, 아니면 단순히 이번 이미지 프레임에서 디코더가 오작동한 것인지 수학적으로 구분하기 매우 어렵다.

   두 불확실성 변수가 동시에 요동치게 되면 kalman gain $\mathbf{k}_t$가 과도하게 오버슈팅될 수 있다고 한다.

2-2. Update rule

FILT3R의 state를 업데이트하는 방식은 기본적으로 칼만 필터를 기반으로 하기 때문에, 크게 예측 (prediction) 단계와 보정 (update) 단계로 이루어져 있다.

이를 블록도로 표현하면 아래와 같은데, ‘칼만 필터 2 - 알고리즘’ 포스터의 블록도와 비교해보길 바란다.

식 (1)을 보면 모델에 물리 법칙을 정하지 않았기 때문에,

프로세스 노이즈 가정

논문에서는 칼만 필터에서 역행렬 계산과 같은 무거운 행렬 연산을 가볍게 만들기 위해, 불확실성을 정의할 때 두 가지 중요한 수학적 가정을 도입하였다.

1. 등방성 (Isotropic) 가정

   하나의 토큰은 $D$차원의 벡터로 이루어져 있으므로 방향에 따라 불확실성이 다를 수 있지만, 논문에서는 각 토큰 내의 모든 차원 방향으로 불확실성이 동일하다고 가정했다.

   즉, 토큰당 단 하나의 스칼라 분산 값만을 할당하였고, $N$개의 토큰에 대한 사후 분산을 $\mathbf{p}_t \in \mathbb{R}^N$이라는 1차원 벡터로 압축했다.

2. 대각 행렬 (Diagonal) 가정

   서로 다른 토큰들 사이에는 어떠한 상관관계도 없다고 가정했다.

   즉, 공분산 행렬 $\mathbf{Q}_t$와 $\mathbf{P}_t$가 비대각 원소들이 모두 0이고 대각성분에만 각 토큰의 고유한 분산값만을 가지는 대각 행렬로 정의된다.

\[\mathbf{Q}_t=\text{diag}(\mathbf{q}_t)~~,~~\mathbf{P}_t=\text{diag}(\mathbf{p}_t)\]

이러한 가정을 하지 않았다면, 공분산 행렬은 모든 요소에 값이 존재하는 거대한 정방 행렬이 되었을 것이다.

\[\mathbf{P} = \mathbb{E}[(\mathbf{s}_{flat} - \bar{\mathbf{s}}_{flat})(\mathbf{s}_{flat} - \bar{\mathbf{s}}_{flat})^\top]\in\mathbb{R}^{(ND) \times (ND)}~~,~~\mathbf{s}_{flat}\in\mathbb{R}^{ND\times 1}\]

예측 (Prediction) 단계

예측 단계에서는 새로운 이미지 프레임을 관측하기 전, 시간이 흐름에 따라 상태 추정치의 불확실성이 어떻게 변했는지 예측한다.

\[\mathbf{p}_t^-=\mathbf{p}_{t-1}+\mathbf{q}_t \tag{3}\]

위 식을 구성하는 각 변수의 의미는 다음과 같다.

• $\mathbf{p}_{t-1}$ (Variance): 직전 이미지 프레임까지 누적되어 상태 추정치에 대한 불확실성이다.
• $\mathbf{q}_t$ (Process noise): 1프레임 동안 3D latent state가 얼마나 역동적으로 변했는지를 나타내는 불확실성으로, 매 이미지 프레임마다 새롭게 계산된다.
• $\mathbf{p}_t^-$ (Prior variance): 과거의 불확실성에 현재의 변화량을 더해 구한, 새로운 이미지 프레임을 관측하기 전의 총 불확실성이다. 현재 latent state가 변한 만큼 기존 상태 추정치에 대한 확신도 떨어지게 된다.

식 (3)은 고전적 칼만 필터의 분산 예측 공식인 $P_t^-=AP_{t-1}A^\top+Q$에서, $A=I$로 두고 계산을 단순화한 형태이다.

$A=I$로 가정한다는 것은 시스템 내부에 복잡한 물리적 법칙을 정의하지 않고, 외부에서 노이즈가 가해지지 않는 한, 3D latent state는 기존의 상태를 그대로 유지하려는 성질이 있다는 전제와 같다.

보정 (Update) 단계

보정 단계는 디코더로부터 새로운 이미지 프레임에 대한 관측치 $\tilde{\mathbf{s}}_t$를 받아, 실제 상태 추정치 $\mathbf{s}_t$와 불확실성 $\mathbf{p}_t$를 최종적으로 업데이트하는 단계이다.

새로운 관측치를 얼마나 신뢰하여 기존 상태에 반영할지를 결정하는 가중치인 kalman gain을 계산하는 과정은 다음과 같다.

\[\mathbf{k}_t=\frac{\mathbf{p}_t^-}{\mathbf{p}_t^-+r} \tag{4}\]

식 (4)는 고전적 칼만 필터의 kalman gain 계산 공식인 $K_t=\frac{P_t^-H^\top}{HP_k^-H^\top+R}$에서, $H=I$로 두고 계산을 단순화한 형태이다.

$H=I$로 가정한다는 것은 시스템이 추정하려는 3D latent state와 디코더의 관측치의 수학적 차원과 단위가 완벽하게 동일하다는 것을 의미한다.

최종적으로 latent state를 업데이트하는 과정은 다음과 같다.

\[\mathbf{s}_t=\mathbf{s}_{t-1}+\mathbf{k}_t\odot(\tilde{\mathbf{s}}_t-\mathbf{s}_{t-1}) \tag{5}\]

여기서 $(\tilde{\mathbf{s}}_t-\mathbf{s}_{t-1})$은 기존 예측과 새로운 관측치 사이의 오차를 나타낸다. 즉, 이전의 상태에 이 오차를 kalman gain의 비율만큼만 반영하여 더하는 형태이다.

식 (5)를 전개하면 아래와 같은데, 이는 $\mathbf{s}_{t-1}$와 $\tilde{\mathbf{s}}_t$의 사이를 $\mathbf{k}_t$라는 비율로 내분하는 것과 동일하다.

\[\mathbf{s}_t=(1-\mathbf{k}_t)\odot\mathbf{s}_{t-1}+\mathbf{k}_t\odot\tilde{\mathbf{s}}_t\]

• $\mathbf{k}_t\approx1$인 경우: 예측 불확실성이 너무 커서, 과거의 정보를 무시하고 새로운 관측치를 전적으로 신뢰하게 된다.
• $\mathbf{k}_t\approx0$인 경우: 새로운 관측치를 무시하고 기존의 상태를 유지하게 된다.

마지막으로, latent state를 업데이트한 후 시스템이 가지는 최종적인 분산을 업데이트하는 과정은 아래와 같으며, 스칼라 형태의 Joseph form을 사용한다.

\[\mathbf{p}_t=(1-\mathbf{k}_t)^2\odot\mathbf{p}_t^-+r\mathbf{k}_t^2~~,~~\mathbf{k}_t^2=\mathbf{k}_t\odot\mathbf{k}_t \tag{6}\]

단순히 $\mathbf{p}_t=(1-\mathbf{k}_t)\mathbf{p}_t^-$ 형태를 사용하지 않은 이유는, 연산 과정에서 부동 소수점 오차가 누적될 경우 분산 값이 음수가 될 수도 있기 때문이다.

따라서 Joseph form을 사용해 수식 내의 모든 항이 제곱 형태로 구성되게 하여, 분산이 항상 양수를 유지하도록 보장한다.

Uncertainty modeling of latent evolution

프로세스 노이즈 $\mathbf{q}_t$는 연속된 이미지 프레임 사이에서 3D latent state가 얼마나 변할 것으로 예상되는지 그 불확실성을 나타낸다. 따라서 정적인 장면에서는 작게, 급격한 화면 전환이 있는 동적인 장면에서는 크게 할당되어야 한다.

논문에서는 $i$번째의 state token이 겪는 temporal drift $\Delta_{t,i}$를 측정하고, 시그모이드 함수를 통과시켜 동적으로 프로세스 노이즈 $q_{t,i}$를 결정하였다.

\[q_{t,i}=q_{\min}+(q_{\max}-q_{\min})\cdot\sigma\left(\alpha_q(g_{t,i}-\tau_q)\right) \tag{7}\]

위 식에서 $q_{\max}$와 $q_{\min}$은 노이즈가 가질 수 있는 최솟값과 최댓값이고, $\alpha_q$는 시그모이드 함수의 곡선 경사를 결정한다.

• 장면이 급변하는 경우 ($g_{t,i}\gg\tau_q$): 시그모이드 결과값이 $\sigma\approx1$이 되어 $q_{t,i} \approx q_{\max}$가 된다.
• 장면이 정적인 경우 ($g_{t,i}\ll\tau_q$): 시그모이드 결과값이 $\sigma\approx0$이 되어 $q_{t,i} \approx q_{\min}$이 된다.

$g_{t,i}$는 normalized drift score로, 현재 발생한 변화가 평소 수준에 비해 얼마나 큰지를 상대적으로 평가하는 값으로 정의된다.

\[g_{t,i}=\frac{\Delta_{t,i}}{\hat{\Delta}_t} \tag{8}\]

수식에 등장하는 3가지 temporal drift $\Delta t$는 다음과 같이 정의된다.

\[\Delta_{t,i}=\lVert\tilde{\mathbf{s}}_{t,i}-\tilde{\mathbf{s}}_{t-1,i}\rVert_2\]

$\Delta_{t,i}$는 개별 토큰의 절대적 변화량으로, 현재 이미지 프레임에서 디코더가 예측한 $i$번째 관측치 $\tilde{\mathbf{s}}_{t,i}$가 직전 프레임 관측치 $\tilde{\mathbf{s}}_{t-1,i}$ 대비 유클리디안 공간에서 얼마나 크게 이동했는지를 나타내는 거리이다.

\[\bar{\Delta}_t=\sum_i\frac{\Delta_{t,i}}{N}\]

$\bar{\Delta}_t$는 현재 이미지 프레임에서의 평균 변화량 (Frame-level mean drift)으로, 현재 이미지 프레임에 존재하는 모든 $N$개 토큰들의 변화량을 평균 낸 값이다. 즉, 이번 이미지 프레임에서 3D 공간 전체가 전반적으로 얼마나 움직였는가를 나타낸다.

\[\hat{\Delta}_t=(1-\lambda_\Delta)\hat{\Delta}_{t-1}+\lambda_\Delta\bar{\Delta}_t\]

$\hat{\Delta}_t$는 전체 스트림에서의 평균 변화량 (Stream-level mean drift)으로, $\bar{\Delta}_t$를 EMA 방식으로 누적하여 부드럽게 만든 선이다. 즉, 비디오 스트림의 평상시 흔들림 수준을 나타내는 기준선이 된다. 논문에서는 EMA baseline이라고 부른다.

Implementation issue

위의 공식들을 실제 코드로 구현할 때, 수치적 안정성과 오작동을 방지하기 위해 몇 가지 안전 장치가 필요하다.

1. Avoid the division by a zero value

   식 (4)와 (8)에서 분모가 0이 되는 것을 방지하기 위해 분모에 아주 작은 값 $\epsilon$을 더한다.

   \[\mathbf{k}_t=\frac{\mathbf{p}_t^-}{\mathbf{p}_t^-+r+\epsilon}~~,~~ g_{t,i}=\frac{\Delta_{t,i}}{\hat{\Delta}_t+\epsilon}\]

2. Clamp the Kalman Gain

   만약 kalman gain이 0이 된다면, 기존의 3D latent state를 다 지워버리는 full overwrite 현상이 발생한다.

   따라서 적절한 수준의 유연성을 유지하도록 $[k_{\min}, k_{\max}]$ 사이에서 값을 유지하도록 한다.

3. Clamp the EMA Baseline

   카메라가 움직이지 않고 비디오 스트림의 이미지 프레임이 오랫동안 정지해 있으면, $\hat{\Delta}_t\approx0$이 되는데, 이때 작은 변화가 있는 이미지 프레임이 들어오면, $g_{t,i}$가 폭발하게 된다.

   이러한 현상을 방지하기 위해, $\hat{\Delta}_t$가 특정 값 아래로 내려가지 않도록 최소값 $\Delta_{\text{floor}}$를 설정한다.

2-3. Filtering as adaptive token retention

앞서 구한 kalman gain $\mathbf{k}_t$는 각 state token을 얼마나 업데이트할지 결정하는 일종의 업데이트 계수 $\boldsymbol{\beta}_t:=\mathbf{k}_t\in[0,1]^N$처럼 동작한다.

식 (5)를 다시 작성해보면, 업데이트 공식은 Exponential Smoothing과 동일한 형태가 된다. (EMA와 원리는 동일하지만 EMA는 평균적인 흐름을 추적하는 것에, Exponential Smoothing은 값들을 섞는 것에 초점을 맞춘 용어임)

\[\mathbf{s}_t=(1-\boldsymbol{\beta}_t)\odot\mathbf{s}_{t-1}+\boldsymbol{\beta}_t\odot\tilde{\mathbf{s}}_t\]

또한 불확실성을 지속적으로 전파하는 칼만 필터의 특성 덕분에, 상황에 따라 이 $\beta_t$ 값을 적절하게 조절해 낸다.

카메라가 정지해 있거나 화면 변화가 없는 안정적인 구간에서는 프로세스 노이즈 $\mathbf{q}_t$가 매우 작게 유지된다. 분산 추정치 $\mathbf{q}_t$가 작으므로 $\mathbf{p}_t^-$도 점점 감소하고, 결과적으로 kalman gain $\mathbf{k}_t$도 지속적으로 감소한다. 수학적으로 $\mathbf{k}_t\approx0$이라는 뜻은 기존의 상태 추정치를 강력하게 보존한다는 뜻이므로, 모델의 유효 기억 시간 (Effective memory horizon)이 끝없이 확장되는 효과를 낳는다.

즉, 비디오가 정적인 상황에서는 과거의 정보를 오랫동안 유지할 수 있다는 의미이다.

In stable regimes, $\mathbf{q}_t$ stays near qmin, so $\mathbf{p}_t^-$ gradually decreases as the Joseph update (Eq. (6)) shrinks the variance, causing $\mathbf{k}_t$ to decay and the effective memory horizon to grow.

반면 카메라가 급격히 움직여 시야가 바뀌면, $\mathbf{q}_t$가 크게 치솟는다. 이로 인해 $\mathbf{p}_t^-$가 증가하고 $\mathbf{k}_t$ 역시 급격히 상승한다. 그 결과 모델은 과거의 상태를 고집하지 않고, 새롭게 들어온 관측치를 빠르게 융합하여 새로운 3D latent state에 즉각적으로 적응한다.

During scene transitions, $\mathbf{q}_t$ spikes, $\mathbf{p}_t^-$ increases, and $\mathbf{k}_t$ rises, allowing the filter to rapidly integrate new evidence.

3. Experiments

• Inference setting
  • Datasets
    • TUM-RGBD (for Camera Pose Estimation)
    • Sintel, Bonn, KITTI (for Depth Estimation)
    • 7-Scenes, NRGBD (for 3D Reconstruction)
  • Hardware & Efficiency
    • 사용 GPU: a single NVIDIA RTX 5090 (32GB VRAM)
    • 추론 속도: 25.14 FPS

3-1. Long-horizon Estimation

아래의 테이블은 시퀀스가 긴 비디오에서 3D Reconstruction (Table 1), Camera Pose Estimation (Table 2), Depth Estimation (Table 3)의 성능을 비교한 표이다.

Fig 4는 Table 2와 Table 3의 결과를 시각화하여, 비디오가 길어짐에 따라 오차가 어떻게 누적되는가를 보여주는 그래프이다.

CUT3R와 TTT3R의 선은 시간이 지날수록 오차가 증가하는 반면, FILT3R는 오차 증가율이 완만하게 유지되는 것을 확인할 수 있다.

3-2. Short-horizon Estimation

Table 4는 시퀀스가 짧은 비디오에서의 Depth Estimation 성능을 비교한 표이다. (장기 기억력을 얻은 대신, 짧은 영상에서의 정확도를 희생한 것일수도 있기 때문임)

짧은 비디오에서도 기존 모델과 동등하거나 더 향상된 단기 성능을 기록한 것을 확인할 수 있다.

3-3. Runtime & GPU Memory

Table 5는 500 프레임 환경에서 FPS와 GPU 메모리 사용량을 측정한 표이다.

기존 TTT3R 모델은 게이트 조절을 위해 어텐션 맵을 캐싱하느라 메모리 사용량이 약 6.3GB로 두 배 가까이 뛰었지만, FILT3R는 무조건 덮어쓰는 CUT3R와 완전히 동일한 약 3.5GB의 가벼운 메모리만을 사용하며, FPS 저하도 전혀 없는 것을 확인할 수 있다.

Fig 5는 입력되는 비디오의 시퀀스 길이가 100에서 1000까지 늘어날 때, 각 모델에서의 최대 GPU 메모리 사용량이 어떻게 변하는지 비교한 그래프이다.

VGGT나 Depth-Anything3와 같은 Full-attention 모델은 시퀀스 길이가 길어질수록 메모리 사용량이 급격하게 올라간다.

반면, 순환형 스트리밍 구조를 채택한 CUT3R, TTT3R, FILT3R는 시퀀스 길이가 아무리 길어져도 메모리 사용량이 늘어나지 않는 것을 확인할 수 있다.

3-4. Ablation Study

Table 6은 FILT3R의 수학적 수식들이 각각 성능에 어떤 영향을 미치는지를 검증한 표이다.

측정 노이즈 $r$을 적응적으로 조절되게 설정하면 오히려 성능이 하락하는 것을 확인할 수 있다.