[논문리뷰] ReAct: Synergizing Reasoning and Acting in Language Models

[Paper] [GitHub]

💡 해당 포스터에 정리한 내용은 제가 논문을 읽고 이해한 흐름대로 내용을 재구성하여 작성했습니다. 따라서 글의 소제목 및 수식 번호는 실제 논문의 구성과 다를 수 있습니다!

1. Introduction

1-1. Motivation

인간 지능의 독특한 특징 중 하나는 행동과 언어적 추론을 원활하게 결합하여 문제를 해결하는 능력이다.

최근 LLM 연구는 크게 두 갈래로 발전해 왔다.
하나는 Chain-of-Thought (CoT)처럼 단계별 추론 능력을 극대화하여 수학이나 상식 문제를 푸는 연구이며, 다른 하나는 텍스트로 변환된 주변 환경을 관찰하고 다음 행동을 예측하는 에이전트 연구이다.

하지만 지금까지는 추론과 행동이 어떻게 시너지를 내며 결합할 수 있는지에 대한 연구는 부족했다.

1-2. Limitations of Existing Methods

• 단독 추론 (Reason Only) 모델의 한계

  Chain-of-Thought (CoT)와 같은 추론 방식은 모델의 내부 지식으로만 생각하는 블랙박스 형태이다.
  즉, 외부 세계의 진짜 정보와 연결되어 있지 않기 때문에, 상황에 맞게 반응하거나 지식을 업데이트하지 못한다.
  이로 인해 사실이 아닌 내용을 지어내는 hallucination이나 초기 추론의 실수가 연쇄적으로 전파되는 문제가 발생한다.

• 단독 행동 (Act Only) 모델의 한계

  상호작용 환경에서, 행동만 예측하는 모델들은 당장 눈앞의 행동을 결정하는 데만 급급하다.
  이러한 모델들은 더 고차원적인 목표롤 향해 추상적으로 추론하거나, 행동을 뒷받침하기 위해 이전 상황들을 기억해두는 working memory를 유지하지 못하는 단점이 있다.

[출처]

1-3. Contributions

2. Methods

2-1. Synergizing Reasoing + Acting

기존 AI 에이전트가 환경과 상호작용하는 방식

특정 시간 $t$에 에이전트는 환경으로부터 관측값 $o_t \in \mathcal{O}$를 받고, 주어진 문맥 $c_t$에 따라 policy $\pi(a_t|c_t)$를 기반으로 행동 $a_t \in \mathcal{A}$를 취한다.
여기서 문맥 $c_t$는 과거의 모든 관측과 행동의 기록, 즉 $c_t = (o_1, a_1, \dots, o_{t-1}, a_{t-1}, o_t)$을 의미한다.

주어진 문맥 $c_t$만 보고 바로 다음 행동 $a_t$를 결정하는 과정은 매우 복잡한 추론을 요구하기 때문에 학습하기가 어렵다.

ReAct의 핵심 아이디어

ReAct에서는 에이전트가 할 수 있는 행동 공간을 $\hat{\mathcal{A}} = \mathcal{A} \cup \mathcal{L}$로 확장하였다.
여기서 $\mathcal{L}$은 언어 공간으로, 기존의 물리적이거나 시스템적인 행동 $\mathcal{A}$에 언어 공간 $\mathcal{L}$을 추가한 것이다.

이 언어 공간에서의 행동 $\hat{a}_t \in \mathcal{L}$을 논문에서는 생각 또는 추론 과정 (reasoning trace)이라고 부른다.
우리가 아는 일반적인 행동은 버튼을 누르거나 검색을 하는 등 환경에 영향을 미치고 새로운 관측값을 가져온다. 하지만 언어 공간에서의 행동인 생각은, 외부 환경에 영향을 주지 않기 때문에 환경으로부터 돌아오는 관측값이 없다.
대신, 생각은 현재까지의 상황 $c_t$를 분석하여 유용한 정보를 구성하고, 에이전트의 내부 문맥을 $c_{t+1} = (c_t, \hat{a}_t)$로 업데이트하여 앞으로 더 나은 추론과 행동을 할 수 있도록 돕는 역할을 한다.

쉽게 설명해서 생각은 계획을 세우고, 관측된 정보에서 핵심을 뽑아내고, 진행 상황을 추적하는 등 다양한 역할을 수행하는 일종의 행동이라고 생각하면 된다.

ReAct는 문제의 성격에 따라 생각을 얼마나 자주 할지 유연하게 조절한다.
복잡한 질문에 대한 답변같이 추론이 중요한 작업에서는 한 단계마다 신중해야 하므로, [생각 → 행동 → 관찰] 순서를 매번 번갈아 가며 촘촘하게 반복하도록 하였다.
게임과 같이 의사결정이 중요한 작업에서는 여러 번의 행동을 빠르게 해야 할 때가 많다. 따라서 매번 생각하기보다는, 모델이 스스로 판단하여 꼭 필요한 순간에만 띄엄띄엄 알아서 생각하도록 설정하였다.

ReAct의 장점

• Intuitive and easy to design: 사람이 문제를 풀 때 머릿속으로 하는 생각을 그냥 자연어로 적어서 예시로 주면 되기 때문에, 직관적이다.
• General and flexible: 생각의 표현이 자유롭고 언제 생각할지 유연하게 정할 수 있기 때문에, 전혀 다른 성격의 task에 범용적으로 사용할 수 있다.
• Performant and robust: 1~6개의 예시만 보고도 처음 보는 문제를 잘 푼다.
• Human aligned and controllable: 모델이 단순히 정답과 행동을 뱉어내는 게 아니라, 추론 과정을 모두 보여준다. 덕분에 모델이 맞게 생각하고 있는지 쉽게 검사할 수 있으며, 모델이 잘못된 생각을 할 때 사람이 중간에 개입해 그 생각을 고칠 수도 있다.

2-2. Task Setup

Domains

지식 검색과 추론이 모두 필수적인 두 가지 벤치마크를 선정했다.

• HotPot-QA: 두 개 이상의 위키피디아 문서를 바탕으로 추론해야 정답을 찾을 수 있는 multi-hop 질의응답 task이다.

• FEVER: 주어진 주장이 사실인지 (SUPPORTS), 거짓인지 (REFUTES), 혹은 정보가 부족한지 (NOT ENOUGH INFO)를 검증하는 task이다.

Action Space

사람이 인터넷 위키피디아를 검색하는 방식을 모방하여, 모델이 사용할 수 있는 3가지 행동 명령어 API를 정의했다.

• search[entity]: 위키피디아 문서가 있을 경우 entity와 일치하는 첫 5문장을 반환하거나, 문서가 없을 경우 entity와 유사한 상위 5개의 검색어를 제안한다.

• lookup[string]: 현재 페이지 내에서 string 문자열이 포함된 다음 문장을 찾는다. (웹 브라우저의 Ctrl+F 기능과 동일)

• finish[answer]: 도출된 최종 정답을 제출하고 탐색을 종료한다.

2-3. Prompting Strategy & Advanced Methods

ReAct Prompting

기존의 프롬프팅은 단순히 질문을 던져서 곧바로 답을 요구하거나, “차근차근 단계별로 생각해봐”라며 머릿속 생각 과정만 적도록 유도했다.

반면, ReAct에서는 프롬프트 안에 사람이 실제로 문제를 푸는 방식인 [생각 → 행동 → 관찰]이라는 3단계가 반복적으로 순환하는 few-shot 예시를 포함하였다.
여기서 생각은 질문을 쪼개고, 관찰된 정보에서 핵심을 추출하며, 다음 검색 방향을 안내하는 역할을 한다.

Baseline

ReAct의 효과를 증명하기 위해 다음과 같은 대조군을 설정했다.

• Standard prompting: 생각, 행동, 관찰 과정 없이 정답만 요구하는 프롬프트 방식
• CoT prompting: 행동과 관찰 과정을 배제하고, 외부 검색 없이 내부 지식으로 생각만 수행하는 프롬프트 방식
• Acting-only prompt: 생각 과정을 배제하고, 외부 검색 행동만 수행하는 프롬프트 방식

논문에서는 기존 CoT의 성능을 보완하기 위해, CoT-SC (CoT with Self-Consistency) 기법을 추가 비교군으로 구성하였다.
단일 추론 경로만 탐색하는 기존 방식과 달리, CoT-SC에서는 temperature 값을 0.7로 설정하여 동일한 질문에 대해 21개의 다양한 추론 경로를 샘플링한다.
이후 생성된 답변들 중 가장 많이 등장한 답을 다수결로 채택한다.

Combining Internal and External Knowledge

ReAct는 사실 확인에 강하지만 유연성이 떨어질 수 있고, CoT는 추론 구조는 잘 잡지만 hallucination에 취약하다.

이를 보완하기 위해, 논문에서는 ReAct와 CoT-SC 두 방식을 번갈아 사용하는 heuristic witching 전략을 제안했다.

• ReAct → CoT-SC: 외부 검색을 하다가 너무 많이 헤매면, 검색을 포기하고 모델의 내부 지식으로 전환하는 방식
• CoT-SC → ReAct: 먼저 내부 지식으로 답을 여러 개 내본 뒤, 모델 스스로 확신이 없으면 외부 검색을 통해서 팩트를 체크하는 방식

Finetuning

ReAct Prompting 방식은 거대한 모델에서는 잘 통했지만, 비교적 작은 모델들은 예시 몇 개만 보고 생각과 행동을 동시에 하는 복잡한 ReAct 방식을 따라 하기 힘들어했다.

따라서 논문에서는 거대 모델이 ReAct 방식을 사용해 성공적으로 정답을 맞힌 풀이 과정 (trajectory) 3,000개를 모아서, 작은 모델을 파인튜닝하였다고 한다.

실험 결과, 겨우 3,000개의 데이터로 파인튜닝된 8B 모델 이 자신보다 8배 큰 62B 모델이 예시만 보고 풀 때보다 더 뛰어난 성능을 보였다고 한다.
심지어 파인튜닝된 62B 모델은 가장 거대한 540B 모델을 프롬프팅으로 쓸 때보다도 성능이 뛰어났다고 한다.

결론적으로 단순히 정답만 외우게끔 하는 것이 아니라, 스스로 생각하고 도구를 쓰는 방법을 배우도록 하면 거대한 모델마저 뛰어넘을 수 있다는 것을 증명한 것이다.

아래 그림은 각 방식의 추론 결과를 보여준 것이다.

2-4. Decision Making Tasks

언어 기반의 복잡한 상호작용 및 의사결정 능력을 평가하기 위해 두 가지 환경을 추가로 도입했다.

• ALFWorld: 텍스트 기반의 가상 집안일 수행 게임으로, 여러 하위 목표를 세우고 추적하는 능력을 평가한다.
• WebShop: 118만 개의 실제 아마존 상품 데이터를 활용한 웹 쇼핑 환경으로, 노이즈가 많은 실제 웹 환경에서의 탐색 및 결정 능력을 평가한다.

앞선 질의응답 task와 달리, 의사결정 task는 수행해야 할 행동의 횟수가 훨씬 많다. 따라서 매번 생각과 행동을 교차하지 않고, 목표를 쪼개거나 상황이 변하는 가장 중요한 순간에만 드문드문 생각을 하도록 프롬프트를 구성했다.

3. Experiments

3-1. Comparison with different prompting methods

Table 1은 PaLM-540B 베이스 모델을 사용하여, 다양한 프롬프팅 방식의 성능을 비교한 표이다.

모델의 내부 지식과 외부 검색을 상호 보완적으로 결합한 방식 (ReAct → CoT-SC 또는 CoT-SC → ReAct)이 최고 성능을 기록했다는 것을 확인할 수 있다.

3-2. different the number of CoT-SC samples

Figure 2는 CoT-SC에서 의 샘플 횟수를 늘릴 때 성능이 어떻게 변하는지 보여주는 그래프이다.

순수하게 CoT-SC만 쓰는 것보다, ReAct를 결합한 방식들이 샘플링 횟수와 상관없이 일관되게 훨씬 높은 성능 곡선을 그리는 것을 확인할 수 있다.