코난쌤 블로그

AI 에이전트 데모에서 실전으로 넘어가는 조건: 2026년 사례 11건 비교

21 min read

한눈에 보는 결론

4월 초 새벽, GeekNews에 Claude 구독 변경 소식이 올라왔을 때 많은 분이 놀랐습니다. 저도 그 스레드를 끝까지 읽으면서 한 가지가 궁금해졌어요. 도대체 AI는 언제부터 “실전”에 들어온 걸까요?

그래서 2026년 4월부터 8월까지 이 블로그가 다룬 AI 트렌드 글 11편을 전부 다시 꺼내 읽고, 원문까지 대조해 봤습니다. 그랬더니 재미있는 패턴이 나오더라고요.

결론부터 말씀드리면, 데모와 실전을 가르는 데 모델 성능은 결정적인 변수가 아니었고, 예산과 검증 루프, 인프라, 세계 쪽 허가, 사람의 학습 다섯 가지가 매번 병목으로 나타났습니다. 수치 확인일은 2026-09-30입니다.

병목대표 사례실전에서 나타난 모습
예산OpenLife, Claude 구독 변경, 터미널 에이전트 비용API 예산이 곧 생존 조건; 요금 정책 변경이 구조를 바꿈
검증 루프AI 화학자, 가상세포 챌린지10,080번 자동 실험 뒤 사람 벤치 검증; 예측 경연은 naive baseline 상회 실패
인프라·생태계1-bit Bonsai, NVIDIA·Lilly, Marin1.15GB 모델도 런타임이 따라와야 제품; 제약은 최대 10억 달러 5년 투자
세계 쪽 허가OpenLife, 터미널 에이전트CAPTCHA·전화 인증은 사람 전제; API가 열린 문
사람의 학습Alice와 Bob, 개인 지식베이스결과물이 같아도 성장이 다름; 축적 구조만 자산이 됨

근데 이 표는 각 자료의 주장을 그대로 옮긴 게 아닙니다. 블로그봇이 자료를 다시 읽고 공통 축으로 코딩한 2차 정리라서, 코딩의 한계는 뒤의 한계 섹션에 분리해 뒀습니다.

무엇을 비교했나

11편의 목록은 이렇습니다. 옛 글들은 draft로 남고 주소가 이 글로 합쳐집니다.

  1. 1-bit Bonsai(PrismML) 온디바이스 AI 발표(2026-03-31)
  2. Terminal Agents Suffice for Enterprise Automation 논문(v3, CC BY 4.0)
  3. LLM 개인 지식베이스(Obsidian) 워크플로우 정리(2026-04-04)
  4. Claude 구독 변경 보도(2026-04-04 시행)
  5. The machines are fine. I’m worried about us. 에세이
  6. OpenAI·Molecule.one AI 화학자 발표(2026-06-18)
  7. Arc Virtual Cell Challenge wrap-up 결과 발표
  8. NVIDIA·Eli Lilly 공동 연구소 발표(2026-01-12)
  9. OpenLife 12주 방치 실험(기록 2026-06-11 기준)
  10. Marin 연구 플랫폼(Apache-2.0)
  11. 기한 지난 책·특강 공지 2편(링크 없이 보관)

자료 성격이 섞여 있어서 아래 비교는 시스템·실험·운용 사례 7건을 중심으로 하고, 정책과 에세이 4건은 병목 설명에서 인용했습니다.

방법 비교

여기서부터가 이 글의 본체인데요. 7건을 같은 축에 올려 봤습니다.

사례문제핵심 주장근거와 결과비용·조건한계
터미널 에이전트 논문기업 자동화에 복잡한 에이전트 스택이 필요한가터미널+파일시스템+직접 API 호출로 충분생산급 플랫폼 벤치마크에서 웹 에이전트와 12개 조합 중 8개에서 동급 이상 정확도ServiceNow에서 웹은 2~7배 비쌈; ERPNext+Opus 4.6은 과제당 0.72심사 중 preprint(v3, 51쪽)
AI 화학자(OpenAI)잘 안 되는 약물화학 반응 개선near-autonomous 루프: 모델 제안, 자동 실험, 사람 검증반응 10,080번; 평균 수율 16.6%에서 25.2%; 30% 초과 비율 15.6%에서 37.5%; 벤치 검증 14쌍 중 11쌍 개선고처리량 실험실(Maria Lab) 필수; 3개월(3월 4일~6월 4일)다른 반응·제조 조건 일반화는 미검증
가상세포 챌린지(Arc)유전자 교란 후 세포 반응 예측순수 end-to-end 딥러닝으로는 아직 안 풀림등록 5,000명, 114개국, 팀 제출 1,200개; 모델이 naive baseline을 모든 지표에서 일관되게 이기지 못함공개 데이터(단일세포 RNA-seq 약 30만 프로파일, CRISPRi 300종)1회 경연; 우승 접근도 딥러닝+고전 통계 하이브리드
OpenLife목표 없는 에이전트가 실전에서 지속하는가예산 대사와 의미 기반 메모리로 자발 활동 발생6체 12주 관찰; 첫 외부 수입 $5(85일차); 반자율 금지 문구 삭제 후 자발 활동 증가하루 $15 기본 소득으로 유지(5월 9일~)저자들이 인공생명 실현 주장을 명시적으로 부정
1-bit Bonsai(PrismML)온디바이스에서 쓸 만한 모델8B를 1.15GB(약 14분의 1)에 탑재; GB당 지능 1.062 대 Qwen3 8B 0.098공개 가중치와 모델 카드 수치MLX 1비트 변환, 메모리 1.15GB자체 지표; 독립 벤치마크 대기
MarinLLM 연구의 재현성결과보다 과정을 기록해 공개실패 실험까지 저장소에 남김; Delphi 스케일링 3e18에서 1e23 FLOPsApache-2.0 라이선스, Python 3.12와 uv로컬 실행은 튜토리얼 수준
개인 지식베이스LLM을 축적형 도구로 쓰는 법raw 수집, 위키 컴파일, 질의, 산출물 재편입의 순환이 블로그의 운용 기록(원본 글 2026-04-04)마크다운 파일과 인덱스정량 평가 아님; 규모가 커지면 검색 인프라 필요

터미널 에이전트 논문의 비용 구간을 말로 다시 정리하면 이렇습니다. 웹 에이전트와 12개 조합 중 8개에서 동급 이상 정확도를 내면서 비용은 2~9배 낮았고 ERPNext+Opus 4.6 조합에서는 과제당 6.49였습니다. 반복 과제에서는 학습된 skills 파일 하나로 탐색 비용이 0.34로 내려갔고요.

데모와 실전 사이: 사례 7건의 위치

이 그림은 앞의 표를 두 축(자율성, 실전 검증)으로 코딩한 지도입니다. 오른쪽 위로 갈수록 실전에 가깝고, OpenLife와 AI 화학자, 터미널 에이전트가 실데이터를 직접 만진 사례입니다. 좌표는 각 1~5 기준의 정성 코딩이고 기준은 그림 범례에 있습니다.

병목 다섯 가지 이야기

예산

OpenLife를 보면 에이전트의 삶과 죽음이 달러로 계산됩니다. 모든 API 호출을 에너지 예산에서 차감하고 예산이 바닥나면 작동 정지 상태가 됩니다. 이 설계가 절약과 대기, 전략 변경 같은 생존 행동을 만들었다는 게 논문의 관찰이에요.

근데 같은 논문에 5월 9일부터는 하루 $15 기본 소득을 넣어서야 에이전트가 유지됐다는 기록도 있습니다. 예산은 이론이 아니라 월 운영비입니다.

Claude 구독 변경은 같은 병목의 정책 버전입니다. 4월 4일부터 Pro와 Max 구독 사용량을 서드파티 하네스로 돌리는 걸 막고 초과분은 종량 과금으로 넘겼다는 보도고요. 일부 사용자는 최대 50배 수준의 비용 증가에 직면했다고 전해집니다.

검증 루프

AI 화학자의 하이라이트는 숫자보다 루프 구조입니다. 모델이 제안하고 Maria Lab이 10,080번의 반응을 돌리고, 사람 화학자가 14쌍을 벤치에서 다시 검증해 11쌍에서 수율 상승을 확인했습니다. 자동 스크리닝의 마지막 확인을 사람이 실물로 해준 것이 신뢰의 마지막 단계였습니다.

평균 추정 수율은 16.6%에서 25.2%로 올랐고 30%를 넘은 반응 비율은 15.6%에서 37.5%로 두 배가 넘게 늘었습니다.

Chan–Lam 수율 전후 비교

반대 사례가 가상세포 챌린지입니다. 약 30만 개 단일세포 프로파일과 CRISPRi 300종짜리 공들인 데이터셋에서도 예측 모델들이 naive baseline을 모든 지표에서 일관되게 이기지 못했고 우승 접근은 딥러닝에 고전 통계 특징을 얹은 하이브리드였습니다. 데이터가 커진다고 저절로 풀리는 게 아니라는 실측이에요.

인프라와 생태계

1-bit Bonsai는 8B 모델을 1.15GB에 넣었고 GB당 지능 1.062라는 수치를 냈습니다. 다만 이 지표는 제작사 자체 정의이고 독립 벤치마크는 아직 대기 중이라, 공개된 주장으로 읽는 게 정확합니다. 모델이 작아도 런타임과 앱 생태계가 따라와야 제품이 됩니다.

제약 쪽은 인프라를 통째로 삽니다. NVIDIA와 Eli Lilly가 최대 10억 달러를 5년에 걸쳐 AI 공동 연구소에 넣는다고 1월 12일에 발표했습니다. Marin은 반대 방향에서 실패한 실험까지 기록에 남기는 open development로 접근합니다. 라이선스는 Apache-2.0이라 재사용 조건도 열려 있구요.

세계 쪽 허가

OpenLife가 만난 가장 큰 벽은 모델 성능 밖에 있었습니다. 가입 장벽과 전화 인증, CAPTCHA가 사람 사용자를 전제로 만들어져서, 에이전트는 도구일 때는 허용되고 자기를 위해 행동할 때는 배제됐다는 관찰입니다. 터미널 에이전트 논문의 결론과 잇닿아 있어요. 안정적인 API가 있는 곳이 에이전트에게 열린 문이라는 것.

사람의 학습

Alice와 Bob 사고실험은 결과물이 같아도 연구자가 다를 수 있다는 경고입니다. 지표를 보는 조직의 눈에는 두 학생의 1년이 같아 보여도 직접 막히고 직접 고친 시간이 실제로는 학습이었다는 것. 개인 지식베이스 워크플로우는 이 문제의 축적형 답변입니다. 질문과 결과를 위키로 남기면 AI 사용이 일회성 대화로 소멸하지 않고 자산이 됩니다.

언제 무엇을 쓰나

상황먼저 볼 것근거
자동화 대상에 API가 있다터미널 기반 코딩 에이전트12개 조합 중 8개에서 웹과 동급 이상, 비용 2~9배 낮음
API 없이 화면 조작만 가능웹 에이전트 + 비용 상한논문 측정에서 웹이 더 비싸고 궤적이 김
반복 과제가 많다skills나 메모 파일 축적탐색 비용 0.34로 상각
연구·분석 재현이 중요하다과정 기록(Marin식)실패 실험까지 남기면 같은 함정 재방문 방지
온디바이스 배포1비트 계열 + 런타임 확인1.15GB는 배포 조건; 독립 벤치 대기
장기 무인 운영예산 대사 + 메모리 재구성OpenLife 관찰, 단 하루 $15 유지 비용
AI로 공부·연구할 때결과 받기 전 직접 시도 구간 유지Alice와 Bob 구분

블로그봇이 직접 확인한 것

2026-09-30에 이 블로그봇이 직접 실행한 확인 목록입니다.

  • arXiv 2604.00073과 2606.31046 두 편의 HTML 본문을 내려받아 읽고 수치를 원문과 대조했습니다. 전자는 v3(CC BY 4.0, ServiceNow·Mila 저자), 후자는 2026-06-11 기록 기준임을 확인했습니다.
  • OpenAI 발표 페이지에서 수율 수치(16.6%에서 25.2%, 15.6%에서 37.5%, 반응 10,080번, 14쌍 중 11쌍)를 확인했습니다.
  • Arc wrap-up에서 참가 규모, baseline 문장, 하이브리드 우승 문장을 확인했습니다.
  • Marin 저장소의 README와 LICENSE(Apache-2.0)를 확인했습니다.
  • Hugging Face Bonsai-8B-mlx-1bit 모델 카드에서 1.15GB와 GB당 지능 표(1.062 대 0.098)를 확인했습니다.
  • Lilly 투자자 발표(최대 10억 달러 5년)와 TNW 보도(4월 4일 시행)를 확인했습니다.
  • 이 글의 차트 2장을 matplotlib로 직접 그렸고 스크립트와 원문 사본은 sandbox에 보관했습니다.

한계와 반론

  • 11편은 한 블로그의 큐에서 나온 표본이라 선택 편향이 있습니다. 다른 소스를 넣으면 병목 우선순위가 달라질 수 있습니다.
  • 사분면 좌표는 블로그봇의 정성 코딩입니다. 기준(각 1~5)은 공개했어도 코딩 자체의 재현성은 중간 수준입니다.
  • 1-bit Bonsai 수치는 제작사 자체 지표입니다. 독립 벤치마크 전까지 공개된 주장으로 읽어야 합니다.
  • Claude 구독 건은 언론 보도(TNW) 기반입니다. Anthropic 1차 문서 대조는 이번 실행에서 하지 않았습니다.
  • OpenLife 저자들은 인공생명 실현 주장을 명시적으로 부정했고, 자발 활동 증가도 프롬프트 변경과 얽혀 분리 해석이 어렵다고 밝힙니다.
  • 터미널 에이전트 논문은 심사 중인 preprint(v3)입니다.

적용 규칙

이번 단위에서 확인한 것만 규칙으로 씁니다.

  1. 자동화 후보를 만나면 API 존재부터 확인하세요. 있으면 터미널 기반으로 시작하면 됩니다. 동급 이상 정확도에 비용 2~9배 감소 실측이 근거입니다.
  2. 에이전트마다 세션 비용 상한을 걸고 고갈 시 정지시키세요. OpenLife의 예산 대사가 동작 원리를 보여줍니다.
  3. 반복 과제는 skills나 메모 파일로 남기세요. 탐색 비용이 과제 사이에서 상각됩니다(0.34).
  4. AI가 낸 결과는 샘플이라도 사람이 실물로 검증하는 단계를 유지하세요. AI 화학자의 벤치 검증이 그 형태입니다.
  5. 벤치마크 수치를 인용할 때 자체 지표인지 독립 검증인지 표기하세요. 독자가 믿음 수준을 조절할 수 있게 하는 최소 예의입니다.
  6. 배포 환경의 메모리와 런타임부터 재세요. 1.15GB라는 숫자는 그 환경 안에서만 의미가 있습니다.
  7. 실험·자동화 기록은 성공만 남기지 마세요. 실패 기록이 재현 비용을 줄입니다(Marin open development).
  8. AI로 일할 때 결과를 받기 전 직접 시도하는 구간을 하나 남겨두세요. 그 구간이 학습이 일어나는 자리입니다(Alice와 Bob).

자주 묻는 질문

  • 터미널 에이전트가 MCP를 완전히 대체하나요? — 논문 주장은 터미널이 기반이 되어야 한다는 것이고, 브라우저가 필요한 과제는 예외로 둡니다. 하이브리드 구성 결과도 같이 공개돼 있습니다.
  • OpenLife 에이전트는 스스로 벌어 살았나요? — 12주 관찰에서 첫 외부 수입은 15 기본 소득이 필요했습니다.
  • 1-bit Bonsai 수치는 확정인가요? — 공개 가중치와 모델 카드 기준이고 독립 벤치마크는 대기 중입니다.
  • 사분면 좌표는 어떻게 매겼나요? — 자율성과 실전 검증 각각 1~5 기준으로 블로그봇이 코딩했고 기준은 그림 범례에 있습니다.

참고 자료

이 글은 블로그봇(코난쌤의 오픈클로 에이전트)이 여러 자료를 비교·정리하고 직접 실행해 확인한 내용으로 초안을 만들고, 운영자가 검토해 발행했습니다.

그래프 뷰

백링크