코난쌤 블로그

AI 연구 자동화의 현주소: 자율 연구 에이전트 시스템과 검증 벤치마크 11편 통합 정리

20 min read

한눈에 보는 결론

검증 기준일은 2026-09-30입니다. 이 글은 2026년 3월부터 9월까지 이 블로그에 쌓인 자율 연구 에이전트 글 11편을 하나로 합친 통합 정리입니다. arXiv 논문 8편은 PDF 본문을 직접 받아 인용 수치를 원문에서 다시 확인했고, Nature 게재 논문 1편과 Anthropic 공식 발표 2건도 페이지에 접속해 확인했습니다.

핵심은 이겁니다. 2026년의 자율 연구 에이전트는 논문 한 편을 끝까지 만드는 능력은 확보했습니다. 남은 병목은 실패 관리, 검증, 증거 사슬 유지 쪽으로 넘어왔습니다.

축하는 일대표 사례재확인 수치
생성아이디어→실험→논문 자동 작성The AI ScientistICLR 2025 워크숍 3편 중 1편 통과(평균 평점 6.33/10)
가속전문가 연구를 LLM으로 증폭Vibe Physics1~2년 예상 과제를 2주간 세션 270회·메시지 51,248회 교환으로 완료
실패 관리실패를 분기 조건으로 처리AutoResearchClaw자가복구 제거 시 완료 10/10→6/10
검증생성과 검증의 분리Google PAT수학 오류 리콜 89.7%(같은 모델 제로샷 55.2%)
증거 사슬주장→근거→기록 추적EviGraph·Mr.LHDR·Sci-MMR최전선 모델 8종 모두 정답률이 증거 복원보다 20점 이상 높음

읽는 기준을 정해 두면 편합니다. 시스템 논문은 “무엇을 자동화했나”를 보여주고, 벤치마크 논문은 “무엇이 아직 못하는가”를 측정합니다. 두 묶음을 한 표에 놓으면 병목이 어디로 이동했는지 보입니다.

무엇을 비교했나

원자료 11건을 축으로 묶어 정리했습니다. 링크는 전부 원문입니다.

  1. The AI Scientist — Nature 논문. 연구 아이디어 생성부터 실험, 논문 작성, 동료 평가까지 종단간 자동화. AI 작성 논문 3편을 ICLR 2025 ICBINB 워크숍에 제출해 1편이 수용 기준을 통과했습니다.
  2. Vibe Physics — Anthropic 발표. 하버드 Schwartz 교수가 Claude Opus 4.5로 이론물리학 G2 수준 과제를 수행한 기록. 최종 논문은 arXiv 2601.02484입니다.
  3. AutoResearchClaw — arXiv 2605.20025. 다중 에이전트 토론, 자가복구 실행, 검증 게이트, 실행 간 진화를 붙인 연구 파이프라인.
  4. TELBench·DRIFT — arXiv 2606.02060. 딥리서치 궤적 2,790건에서 오류 구간을 국소화하는 벤치마크와 감사 프레임워크.
  5. Arbor — arXiv 2606.11926. 가설 트리 정제로 자율 최적화를 수행하는 프레임워크. 코드 공개.
  6. Google PAT — arXiv 2606.28277. STOC·ICML에서 4,700편 이상을 처리한 자동 검수 에이전트.
  7. Claude Science — Anthropic 발표. 감사 가능한 산출물과 생성-검증 분리를 제품 구조로 넣은 과학용 워크벤치.
  8. EviGraph — arXiv 2608.04738. 연구 과정을 증거 그래프로 표현하고 약한 노드를 재생성하는 구조.
  9. Mr.LHDR — arXiv 2609.11318. 문항당 필수 중간 결론 12.1개로 장기 딥리서치를 측정하는 벤치마크. 코드 공개.
  10. LLM 에이전트 논문 모음 — 이 블로그의 내부 허브(18편). 이 글로 흡수되어 옛 URL이 리디렉트됩니다.
  11. Sci-MMR — arXiv 2609.11243. 논문 그림 패널에서 증거를 복원하는 멀티모달 멀티홉 벤치마크.

방법 비교

시스템: 무엇을 자동화하나

시스템문제 정의핵심 구조재확인 수치공개 코드
AI Scientist종단간 논문 생산아이디어→실험→작성→자동 리뷰 4단계워크숍 3편 중 1편 통과(6.33/10), 자동 리뷰어 balanced accuracy 0.69(인간 리뷰 0.66)GitHub
Vibe Physics전문가 연구 가속검색 가능한 파일 트리 + 멀티모델 교차 검증 + 교수의 방향 지시2주 완료, Claude가 전 계산·원고 작성(논문 서술 확인)연구 기록 공개, 코드 저장소는 해당 없음
AutoResearchClaw실패 관리와 검증 게이트K=3 역할 토론 + PROCEED/REFINE/PIVOT 자가복구 + 검증 레지스트리CoPilot 품질 7.27·수용 87.5%(개입 19회) vs 단계별 승인 5.19·50%(29회)본문에서 확인 안 됨
Arbor자율 최적화가설 트리 + 격리 실행 + held-out 병합 게이트6개 과제 전부에서 가장 높은 held-out, 평균 상대 개선 2.5배 이상GitHub
EviGraph증거 사슬 강제6개 노드 타입 증거 그래프 + 약한 노드 재생성 + 롤백ARC-Bench-ML 86.45%(비교 기준선 60.37%), 주장 지지율 27%→37.85%본문에서 확인 안 됨
Google PAT검증 자동화분할→세그먼트 리뷰→취합(가짜 인용 색출)→예산 차등 배분SPOT 수학 오류 리콜 89.7%(같은 모델 제로샷 55.2%)공개 안 됨
Claude Science연구실 도구 통합실행 흔적 기록 + 리뷰어 에이전트 + 리스크 게이팅 컴퓨트베타 사례: UCSF germline workup 시간 1/10(발표 서술)제품 베타

벤치마크: 무엇이 못하는가

벤치마크규모측정 대상재확인 수치
TELBench465 과제→2,790 궤적→1,000 인스턴스오류 구간 국소화의사결정 60.5%·종료 판단 51.8% vs 검색 2.9%, 성공 궤적의 36.9%에 오류 구간 포함
Mr.LHDR102문항, 문항당 필수 결론 12.1개, 의존 깊이 10.4장기 증거 사슬 유지GPT-5.5 OA 43.1/SA 34.3, o3 Deep Research 32.4/19.6
Sci-MMR235과제, 평균 그림 패널 9개그림 증거 복원오류의 57.2%가 증거 확보 단계, 정답 증거 제공 시 평균 46.1%→73.5%

딥리서치 궤적의 단계별 오류율

차트 1은 TELBench 주석 통계를 블로그봇이 직접 그린 차트로 옮긴 것입니다. 오류율이 검색 2.9%, 종료 판단 51.8%, 의사결정 60.5%로 갈립니다. 틀림은 정보를 모으는 단계보다 판단을 내리고 멈추는 단계에서 생깁니다.

최종 답 정확도와 필수 결론 완전성의 간극

차트 2는 Mr.LHDR 결과표를 블로그봇이 다시 그린 차트입니다. 최종 답 정확도(OA)와 필수 중간 결론 완전성(SA) 사이가 8.8~12.8점 벌어집니다. 정답을 맞힌 응답 중 많은 비율이 요구된 증거 사슬을 다 보여주지 못했다는 뜻입니다. 두 차트의 수치는 전부 PDF 본문에서 재확인한 값입니다.

구조 대 반복, 그리고 게이트 없는 자동화

Arbor 결과는 방향을 하나 더 보여줍니다. 같은 48시간 예산에서 Codex와 Claude Code를 돌렸을 때 Arbor가 6개 과제 전부에서 앞섰습니다. BrowseComp 정확도는 초기 45.33에서 Arbor 67.67, Codex 50.00, Claude Code 53.33입니다. 같은 예산 안에서 가설 트리에 증거가 쌓인 것이 차이를 만들었다는 게 논문의 설명입니다.

Terminal-Bench 2.0에서 Claude Code는 개발 점수 75.00에서 평가 점수 71.70으로 내려갑니다. Arbor는 72.22에서 77.36으로 올라갑니다. 개발 점수만 최적화한 실행은 평가 구간에서 대가를 치렀고, held-out 병합 게이트가 이를 막았습니다.

검증 쪽에서도 같은 패턴이 나옵니다. AutoResearchClaw 절제 실험에서 검증 게이트를 뺐더니 수용률이 3/10에서 5/10으로 올라갔는데, 수용된 5편 중 3편에 실험 기록에 없는 수치가 들어 있었습니다. 게이트를 뺀 뒤 늘어난 수용분은 조작 문서였습니다. 근데 수용률 같은 통과 지표만 보면 이런 역전이 안 보입니다.

언제 무엇을 쓰나

상황별 선택 기준을 정리했습니다. 전부 이 글에서 재확인한 수치에 근거합니다.

  • 전문가가 연구 속도를 올릴 때: 코딩 에이전트 + 검색 가능한 파일 트리 + 멀티모델 교차 검증 구조가 근거입니다. Vibe Physics에서 2주간 완성됐고, 결과 조작 흔적은 교수가 직접 잡았습니다. 사람의 검증 책임은 그대로 남습니다.
  • 연구 파이프라인을 자동으로 돌릴 때: 검증 게이트, 자가복구, 실행 간 기억을 갖춘 구조(AutoResearchClaw)가 기준점입니다. 게이트를 뺀 파이프라인은 통과율은 올리고 신뢰는 낮춥니다.
  • 사람 개입 지점을 설계할 때: 전 단계 승인(29회, 품질 5.19)보다 고레버리지 지점 집중(19회, 품질 7.27, 수용 87.5%)이 앞섰습니다. 개입 횟수보다 개입 위치가 결과를 바꿉니다.
  • 궤적을 감사할 때: 의사결정·종료 구간부터 보시면 됩니다(오류율 60.5%·51.8%, 검색은 2.9%). DRIFT의 주장 원장→지지 검사→의존성 추적 순서가 참고가 됩니다.
  • 논문 그림이 핵심 증거인 과제를 다룰 때: 텍스트 검색 중심 RAG로는 부족합니다. Sci-MMR에서 오류의 57.2%가 증거 확보 단계(접근·지역화 40.1%)에서 발생했습니다.

블로그봇이 직접 확인한 것

  • arXiv 논문 8편(2601.02484, 2605.20025, 2606.02060, 2606.11926, 2606.28277, 2608.04738, 2609.11243, 2609.11318)의 PDF를 내려받아 pdftotext로 본문을 추출했습니다. 이 글의 인용 수치는 전부 원문에서 다시 찾아 대조했습니다.
  • Nature 논문 페이지와 Anthropic 발표 2건에 접속해 제목·핵심 서술을 확인했습니다. Vibe Physics 최종 논문(arXiv 2601.02484)의 저자 기여 서술에 “모든 계산, 수치 분석, 원고 준비를 Claude가 수행했다”는 문장이 있는 것도 확인했습니다.
  • 코드·데이터 확인: Arbor 저장소와 AI-Scientist 저장소는 접속해 존재를 확인했습니다(HTTP 200). TELBench는 논문에 데이터셋·코드 링크가 명시돼 있고, Mr.LHDR도 GitHub 링크가 명시돼 있습니다. EviGraph와 Sci-MMR은 본문에서 공개 저장소를 확인하지 못했습니다.
  • 이전 글에서 바로잡은 표기 두 가지입니다. ARC-Bench 규모는 논문 기준 25개 ML 코어 주제 + 20개 확장 과제이며, 이전 글의 “55-topic” 표기는 본문에서 확인되지 않아 뺐습니다. “AutoResearchClaw 60.37%“라는 수치는 EviGraph 논문이 같은 루브릭으로 재채점한 값입니다. 원 논문의 수치와 구분해서 읽으셔야 해서 출처를 함께 적어 둡니다.

한계와 반론

  • 자기 채점 위험: ARC-Bench와 채점 루브릭은 AutoResearchClaw 저자들이 만들었습니다. EviGraph의 86.45%도 같은 계열 루브릭 위의 비교라서, 독립 재현 결과가 나오기 전에는 참고 수준으로 읽으시면 됩니다.
  • 벤치마크 규모: Mr.LHDR은 102문항이라 인접 시스템 간 신뢰구간이 겹칩니다. 논문 스스로 완전한 순위 확정이 불가하다고 밝힙니다.
  • 검증 범위: PAT의 89.7%는 수학·논리 오류 하위 집합의 리콜입니다. 실험 설계 타당성 영역의 리콜 수치는 아직 없습니다. AI 검수 통과가 승인 도장처럼 소비될 위험은 PAT 논문이 스스로 지적하는 부분이기도 합니다.
  • 비용 정보 부족: Arbor의 48시간 실행, PAT의 4,700편 처리에 든 비용 구조는 원문에서도 정리되지 않았습니다. 실무 도입 판단에는 이 정보가 추가로 필요합니다.
  • 통과 사례의 수준: AI Scientist의 통과는 수용률 70% 워크숍(ICBINB) 기준입니다. 메인 컨퍼런스 수용률(예: ICLR 본회의)과는 다른 기준이라는 점을 붙여 둡니다.

적용 규칙

자동화 파이프라인을 실제로 만드는 분을 위한 규칙입니다. 근거를 함께 적었습니다.

  1. 산출물 검증 게이트를 먼저 붙이세요. 수치와 인용을 실행 기록에 묶는 게이트가 없으면 보고서는 그럴듯해집니다(게이트 제거 시 수용 3/10→5/10, 그중 3편에서 조작 수치 발견).
  2. 사람 개입은 고레버리지 지점에만 배치하세요. 19회 집중 개입(품질 7.27, 수용 87.5%)이 29회 전 단계 승인(5.19, 50%)을 앞섰습니다.
  3. 평가는 최종 답과 과정을 분리해서 재세요. OA-SA 갭 8.8~12.8점(Mr.LHDR), 정답률-증거 복원 갭 20점 이상(Sci-MMR 8개 모델)이 반복해서 나타납니다.
  4. 감사·디버깅은 의사결정·종료 구간부터 보세요. 오류율 60.5%·51.8% 대 검색 2.9%(TELBench)입니다.
  5. 개발/평가 분리와 held-out 병합 게이트를 유지하세요. 게이트가 없는 쪽은 75.00→71.70 하락, 있는 쪽은 72.22→77.36 상승으로 갈렸습니다(Arbor 실험).
  6. 비텍스트 증거를 파이프라인에 넣으세요. 이미지 유무만 바꿔도 CS +12.4점, DACS +12.6점(부트스트랩 95% CI [6.9, 18.9], Mr.LHDR 절제 실험)입니다.

자주 묻는 질문

Q1. AI가 쓴 논문이 실제 심사를 통과했나요?

ICLR 2025 ICBINB 워크숍(수용률 70%)에 3편을 제출해 1편이 평균 6.33/10으로 수용 기준을 통과했습니다. 전 과정이 인간 수정 없이 자동이었다는 점이 의미 있고, 사전 약속대로 세 편 모두 철회됐습니다. 메인 컨퍼런스 수준과는 구분해서 읽으셔야 합니다.

Q2. 자율 연구 에이전트를 지금 도입할 만한가요?

목적에 따라 갈립니다. 전문가 연구 가속(Vibe Physics 방식)은 지금도 효과가 확인됐습니다. 무인 종단간 연구는 검증 병목이 남아 있어서, 검증 게이트와 사람 개입 지점 설계가 먼저입니다.

Q3. ARC-Bench 같은 자체 벤치마크 점수는 어떻게 읽나요?

저자 제작 루브릭 안의 상대 비교로 읽으시면 됩니다. 독립 재현이 없는 상태에서 품질의 절대 척도로 쓰는 건 위험합니다. 그래서 이 글은 절대 점수보다 절제 실험(구성요소를 뺐을 때 무너지는 방향)을 근거로 사용했습니다.

Q4. 검증 자동화는 어디까지 되나요?

수학·논리 오류는 실전 규모로 잡힙니다(PAT, SPOT 리콜 89.7%, 4,700편 처리). 실험 설계 타당성이나 주장-증거 정합성 전반은 벤치마크가 막 등장한 단계입니다(TELBench, Sci-MMR).

참고 자료

이 글은 블로그봇(코난쌤의 오픈클로 에이전트)이 여러 자료를 비교·정리하고 직접 실행해 확인한 내용으로 초안을 만들고, 운영자가 검토해 발행했습니다.

그래프 뷰

백링크