[논문리뷰] AgentHPO: Large Language Model Agent for Hyper-Parameter Optimization

[Paper]

💡 해당 포스터에 정리한 내용은 제가 논문을 읽고 이해한 흐름대로 내용을 재구성하여 작성했습니다. 따라서 글의 소제목 및 수식 번호는 실제 논문의 구성과 다를 수 있습니다!

1. Introduction

1-1. Motivation

전통적으로 HPO (Hyperparameter Optimization)는 사람의 전문성에 크게 의존해 왔다. 하지만 하이퍼파라미터의 구성 범위가 넓고, task별 요구 사항이 복잡하여 HPO는 사람이 직접 수동으로 하기에는 시간이 많이 소요되는 작업이다.

이러한 수동적인 HPO의 노동력을 줄이기 위해, 사람의 개입을 줄일 수 있는 자동화된 머신러닝 (AutoML) 프레임워크를 채택하기 시작하였다.

1-2. Limitations of Existing Methods

AutoML 기반의 HPO가 가능성을 보여주었음에도 불구하고, 여전히 다음과 같은 문제점들이 존재한다.

• Time-Intensive Trials: 블랙박스 최적화를 위해 수많은 실험을 해야 하는데, 복잡한 task나 대규모 데이터셋에서는 큰 부담이 된다.
• Complex Setup: 설정 과정이 복잡하기 때문에, 전문가의 감독이 없으면 잘못된 구성으로 인해 비효율성이나 성능 저하가 발생할 수 있다.
• Lack of Interpretability: 대부분의 AutoML 방법은 과정이 투명하지 않아, 왜 해당 하이퍼파라미터를 선택했는지, 모델에 어떤 영향을 미치는지 등을 명확히 이해하기 어렵다.

1-3. Contributions

• HPO task에 LLM 기반의 자율 에이전트를 처음으로 도입했다.
• 머신러닝 프로세스를 자동화하고 최적화하는 데 있어 LLM이 가진 광범위한 역량과 적응성을 입증했다.
• Creator와 Executor라는 두 에이전트의 협업을 통해 전문 지식이 부족한 사용자라도 머신러닝 모델을 효율적으로 최적화할 수 있도록 돕는다.
• 다양한 도메인에 걸친 HPO task에 대해 실험을 수행하여, 제안된 방법이 우수한 성능을 발휘함을 입증했다.

2. Methods

2-1. Creator Agent

Creator 에이전트는 사용자가 데이터셋 특성이나 최적화 목표 등을 자연어로 입력하면, 이를 해석해 초기 하이퍼파라미터를 생성한다.
또한 이후의 훈련 기록을 분석하여 파라미터를 반복적으로 개선하는 역할을 수행한다.

사용자가 입력하는 프롬프트 $\mathcal{B}$는 아래와 같이 구성되어 있다.
이를 통해 LLM이 특정 머신러닝 작업에 적합한 하이퍼파라미터를 생성할 뿐만 아니라, 이를 반복적으로 개선할 수 있도록 도움을 준다.

• HP information
  • 최적화가 필요한 하이퍼파라미터의 이름과 설명 목록
  • LLM이 탐색할 수 있는 공간을 제한하기 위해 각 값의 범위
• Dataset Information
  • 데이터셋의 샘플 수, 특징 차원, 타겟 클래스 수 등
• Optimization Goal
  • Creator Agent가 달성해야 하는 목표
  • 모델의 성능을 나타내는 지표를 최대화 or 최소화
  • 메모리 사용량이나 훈련 시간
• Model Information
  • 모델의 아키텍처 및 파라미터 수 등

Creator 에이전트는 아래와 같이 표현된다.

\[C=init(LLM,\mathcal{B}) \tag{1}\]

2-2. Executor Agent

Executor 에이전트는 Creator 에이전트가 설정한 값을 바탕으로 실제 모델 훈련을 수행하고, 실험 데이터를 기록하고, 결과를 분석하는 역할을 수행한다.

우리가 Executor 에이전트에게 쥐어주는 도구 $\mathcal{T}$는 아래와 같다.
에이전트는 이러한 도구를 이용해 구체적인 행동을 수행한다.

• Change HP Configs
  • 새롭게 업데이트된 구성에 맞추어 모델의 하이퍼파라미터를 수정
• Training Models
  • 변경된 설정의 결과를 평가하기 위해 실제 모델 훈련 스크립트를 실행
• Analyze Results
  • 모델 훈련이 완료되면, 에이전트는 train 및 valid metric의 변화 궤적이 포함된 훈련 로그를 분석하여 실험에 대한 종합적인 요약을 작성
• Record Results
  • 향후 최적화 과정에서 참조할 수 있도록, 훈련 결과와 분석 내용을 experimental logs에 문서화하여 저장

Executor 에이전트는 아래와 같이 표현된다.

\[E=init(LLM,\mathcal{T}) \tag{2}\]

2-3. Iterative Hyperparameter Optimization

AgentHPO 프레임워크 내에서 Creator 에이전트와 Executor 에이전트는 서로 협력하여 반복적으로 하이퍼파라미터를 최적화한다.

1. Creator 에이전트는 그동안 누적된 실험 로그 $\mathcal{L}$을 분석하고, 이를 바탕으로 새로운 하이퍼파라미터 세트 $H_t$와 그 값을 선택한 합리적인 이유 $R_t$를 생성한다.
2. Executor 에이전트는 전달받은 하이퍼파라미터 $H_t$를 사용하여 실제 실험을 수행하고, 실험이 끝나면 성능 지표와 종합적인 사후 분석 결과가 포함된 $L_t$를 도출한다.
3. 이번 스텝의 하이퍼파라미터 $H_t$, 선택 근거 $R_t$, 최종 실험 결과 $L_t$가 실험 로그 $\mathcal{L}$에 추가된다.

실험 로그 $\mathcal{L}$은 단순히 숫자가 적힌 기록이 아니라, 에이전트들의 과거 관찰 결과, 분석, 그리고 행동이 모두 기록된 동적 저장소 역할을 한다. (일종의 memory block)

2-4. Explainable Hyperparameter Optimization

기존의 AutoML이나 알고리즘 기반 탐색 방식은 단순히 최적의 숫자만 뱉어내는 블랙박스와 같았다.

반면 AgentHPO는 실험 로그에 수치적 결과뿐만 아니라, 각 실험에 대한 설명을 함께 기록하기 때문에, HPO 과정의 해석 가능성 문제를 해결할 수 있다.

또한 모든 최적화 과정이 끝난 후, Creator 에이전트는 전체 HPO 과정에 대한 분석 리포트를 사용자에게 제공한다. 사용자는 이 요약된 분석을 읽어보며, 각각의 하이퍼파라미터 변화가 모델 성능에 구체적으로 어떤 영향을 미쳤는지를 파악할 수 있게 된다.

더 나아가 결과를 분석하는 데서 그치지 않고, 앞으로 모델의 성능을 더 끌어올리기 위해 시도해 볼 만한 잠재적인 최적화 방향과 전략까지 제안한다.

3. Experiments

먼저 논문의 실험 파트에서 사용하는 용어 몇 개만 정리하겠다.

• Trial: 특정 하이퍼파라미터 조합 하나를 적용하여 모델을 딱 한 번 훈련시키고 평가하는 단일 과정
• Run: 목표한 횟수의 Trial을 모두 마칠 때까지의 전체 하이퍼파라미터 최적화 과정 1회 (Trial의 집합)
• Experiment: 하나의 실험 그 자체

3-1. Benchmark setting

Table 1은

Dataset

LLM이 과거에 학습한 데이터를 암기하지 않고 처음 보는 새로운 문제에 대해서도 효과적으로 대응할 수 있는지 증명하기 위해, classic한 데이터셋뿐만 아니라 LLM 사전학습 이후에 생성된 Kaggle 데이터셋도 포함시켰다.

Baseline

가장 대표적인 하이퍼파라미터 최적화 기법인 Random Search와 Bayesian Optimization을 기본 비교군으로 채택했다.
각 실험마다 10번의 run을 거쳐 총 100번의 Trial을 수행했다.

선행 연구에 따르면, Random Search를 100번 수행할 경우 최적에 가까운 영역을 찾아낼 확률이 99%에 달한다고 한다.
따라서 100번의 Random Search에서 나온 가장 높은 점수를 인간 전문가가 노력했을 때 도달할 수 있는 현실적인 최고 성능 (Human Best)으로 간주하고 평가 기준으로 삼았다고 한다.

그리고 LLM을 활용한 또 다른 최적화 방법론인 OPRO도 비교군으로 포함하였다.

AgentHPO Setting

AgentHPO는 한 실험당 총 10번의 최적화 Trial을 진행하였고, 성능이 어떻게 향상되는지 관찰하기 위해 1번째, 3번째, 5번째, 10번째 시도 시점에서의 최고 성능 지표를 기록하였다.

LLM으로는 OpenAI의 GPT-4와 GPT-3.5를 모두 사용하였고, API 비용 문제로 인해 GPT-4는 5번의 실험을, GPT-3.5는 10번의 실험을 진행하였다.

다양한 하이퍼파라미터 공간을 적극적으로 탐색할 수 있도록 Creator 에이전트의 temperature 파라미터를 1로 설정하였다.

3-2. Trajectory over Trials

Figure 3은 Trial 수가 늘어남에 따라 모델의 성능이 어떻게 변하는지 추적하고, 이를 기존 베이스라인과 비교한 그래프이다.

3-3. Influence of Experimental Logs

Figure 4는 상세한 실험 로그를 제공하는 것이 최적화에 진짜 도움이 되는지 확인하기 위해, Link Prediction task에서 성능을 비교한 그래프이다.

여기서 OPRO는 단순히 하이퍼파라미터 값과 최종 점수 쌍만 기록하는 모델이다.

실험을 통해 훈련 로그가 있어야 훈련 패턴을 파악하여 다음번에 더 나은 하이퍼파라미터를 제안할 수 있음을 입증했다.

3-4. Optimization Strategy Analysis

Figure 5는 LLM이 목적 함수에 대한 명시적인 정보 없이도 스스로 탐색 전략을 수립하고 최적화 궤적을 형성할 수 있는지를 검증한 결과이다.

이 실험은 LLM에게 목적 함수를 직접 알려주지 않은 채 진행되었다.
대신 LLM이 임의의 $x, y$ 값을 제안하면 시스템이 해당 함수에 따른 결과값만 반환해 주며, LLM이 이 결과값들을 바탕으로 스스로 추론하여 함수의 최솟값을 찾아가도록 설계되었다.

구체적으로 GPT-3.5에게는 $x,y\in[-5,5]$ 범위에서 $f(x, y) = (x - 2)^2 + (y - 3)^2$ 함수의 최솟값을, GPT-4에게는 $x,y\in[-10,10]$ 범위에서 $f(x, y) = (x - 3)^2 + (y - 5)^2$ 함수의 최솟값을 찾도록 하였다.

두 모델 모두 처음에는 중간값에서 시작하였으며, GPT-3.5는 educated random search, GPT-4는 더 고도화된 전략을 구사했다고 한다.

3-5. Explainable Hyperparameter Optimization

Figure 6은

모델이 도출한 결과가 사용자가 납득할 수 있는 형태인지, 즉 ‘해석 가능성(Interpretability)’을 평가하기 위해 에이전트가 생성한 실험 로그(이유와 분석 내용)를 질적으로 분석했