LLM에게 물어보고 시작하는 강화학습이 요즘 흐름이다. 근데 대부분 매 스텝 LLM을 부른다. USC와 CMU 연구진이 ICLR 2026에 낸 MIRA는 다르게 접근한다. 한 번 물어본 조언을 그래프에 쌓아두고 계속 재사용한다.
결론 먼저
MIRA는 LLM 조언을 메모리 그래프에 걸러 저장한 뒤, 훈련 내내 재사용하는 RL 에이전트다. 매 스텝 LLM을 부르지 않으니 쿼리 비용이 급감한다.
- LLM4Teach: 500회 이상 쿼리
- MIRA: 약 30회 쿼리로 비슷한 최종 성능
핵심은 이겁니다. LLM 조언을 매 스텝 소모하지 않고, 메모리 그래프에 축적해 훈련 내내 재사용한다. 실험에서 DOORKEY·REDBLUEDOOR 성공률은 HRL 대비 약 2배, REDBALL 최적 도달은 절반 이하 iteration이었습니다. 기준일 2026-09-13, arXiv v1(2026-02-20) 기준입니다.
| 항목 | 값 |
|---|---|
| 논문 | arXiv 2602.17930, ICLR 2026 |
| 저자 | USC, CMU |
| 핵심 | 메모리 그래프 + 어드밴티지 셰이핑 |
| 쿼리 | 런당 약 30회(오프라인 7 + 온라인 20±3) |
| 환경 | FrozenLake, MiniGrid/BabyAI 5종 |
| 프로젝트 페이지 | narjesno.github.io/MIRA/ |
문제 상황
희소 보상 환경에서 RL은 탐색이 안 된다. LLM 선생을 붙이면 초반은 빨라지지만, 환각·비용·지연 문제가 따라온다. 논문의 문제 정의는 LLM 지식을 끌어오되 실시간 의존을 없애고 RL 수렴 보장은 유지하기입니다.
방법
메모리 그래프는 트라젝토리 노드와 서브골 노드로 구성된다. 오프라인 LLM 사전지식으로 초기화하고, 훈련 중 에이전트 경험으로 노드를 교체·가지치기한다. 잘못된 LLM 조언은 낮은 추정 보상과 미사용 가지치기로 자연스럽게 사라진다. 온라인 쿼리는 유틸리티 신호가 0 근처로 떨어질 때만 발동한다.
LLM 출력은 신뢰도 스크리닝을 통과해야 그래프에 들어간다. 토큰 likelihood 기하평균 또는 다수 일치 테스트로 걸러낸다. 통과한 제안만 “헬시 그래프트”로 편입됩니다.
학습 신호는 PPO 어드밴티지에 유틸리티를 섞는 방식이다. 초반에는 유틸리티 가중치가 크고, 훈련이 진행되며 0으로 감쇠한다. 최종 정책은 참 보상 함수에 대해 최적화되어 PPO 수렴 보장이 유지된다. Theorem 1은 희소 보상 구간에서 업데이트가 소멸하지 않음을 증명한다.
실험
FrozenLake, MiniGrid, BabyAI에서 평가했다. REDBALL에서는 최적 리턴 도달이 절반 이하 iteration으로 줄었고, DOORKEY와 REDBLUEDOOR에서는 HRL 대비 약 2배 성공률을 냈다. LAVACROSSING에서 PPO는 성공률 0 근처에 머물렀다.
쿼리 효율 비교에서 MIRA는 약 30 쿼리로 LLM4Teach(500+)와 비슷한 성능, LLM-RS(50+)보다 높은 성능을 냈다. 쿼리당 리턴으로 환산해도 MIRA가 위입니다. 구체적인 구성은 오프라인 7회 + 온라인 20±3회입니다.
LLM 모델별 차이(우). 출처: arXiv 2602.17930 Figure 7.
어블레이션에서는 후반부 LLM 교체와 스크리닝 제거에도 성능이 유지됐다. 메모리가 이미 형성되면 잘못된 제안의 영향이 제한된다는 뜻입니다. LLM 모델을 바꾸면 추론 스타일이 메모리 품질에 그대로 반영됐다.
내 해석
LLM 조언을 소모품이 아니라 축적 자산으로 쓰는 설계라는 점이 인상적이었다. 그리드 월드 중심이라는 한계는 있지만, 희소 보상 탐색 문제를 푸는 실용적 레시피로 읽힌다. 스크리닝 + 사용 기반 가지치기 + 감쇠하는 셰이핑 가중치 조합은 에이전트 설계 일반으로 확장 가능하다.
자주 묻는 질문
MIRA가 기존 LLM-가이드 RL과 다른 점은?
매 스텝 LLM을 부르는 대신, LLM 출력을 스크리닝해 메모리 그래프에 저장하고 훈련 내내 재사용한다. 쿼리 수가 500회 이상에서 약 30회로 줄어든다.
유틸리티 셰이핑이 PPO 수렴을 깨지 않는 이유는?
셰이핑 가중치가 훈련과 함께 0으로 감쇠하기 때문에, 최종 정책은 참 보상 함수에 대해 최적화된다. Theorem 1이 희소 보상 구간에서 업데이트 비소멸을 증명한다.
잘못된 LLM 조언이 들어오면?
신뢰도 스크리닝이 1차 방어고, 그래프 내 낮은 추정 보상·미사용 가지치기가 2차 방어다. 후반부 LLM 교체 실험에서 스크리닝 없이도 성능이 유지됐다.
어떤 LLM을 썼나?
주로 GPT-o4-mini. 어블레이션에서 GPT-4o, Claude Sonnet 4, Gemma 3 27B, Gemini 2.5 Flash/Pro도 비교했고, 추론 스타일이 최종 정책 품질에 영향을 줬다.
마무리
LLM 조언을 소모품이 아니라 축적 자산으로 쓰는 설계라는 점이 인상적이었다. 그리드 월드 중심이라는 한계는 있지만, 희소 보상 탐색 문제를 푸는 실용적 레시피로 읽힌다.
참고
- 논문: arXiv 2602.17930 (ICLR 2026)
- 프로젝트 페이지: narjesno.github.io/MIRA