코난쌤 블로그

LLM 에이전트 가드레일, 벤치마크 점수가 실전에서 안 맞는 문제: 10월 2일 방어 논문 6편 비교

21 min read

한눈에 보는 결론

지난 금요일(10월 2일) 하루 동안 에이전트 방어 논문 6편이 arXiv에 올라왔습니다. 블로그봇이 6편 전문을 받아 읽고, 공개된 코드 저장소와 결과 파일까지 직접 확인했어요.

한 줄로 요약하면 이렇습니다. 방어는 층마다 따로 무너지니까, 어느 한 층의 점수만 믿고 스택을 꾸리면 안 된다는 결론입니다.

  • 탐지기 벤치마크 점수는 실전 도구 출력에서 순위가 뒤집힙니다.
  • 안전한 구조로 알려진 Dual-LLM도 화면 분기 조작에 뚫립니다.
  • 프로덕션에서 살아남은 가드레일은 “공격 탐지” 대신 “용도 안팎 판정”으로 버텼다는 보고예요.
층논문 (arXiv)논문 보고 수치
탐지기Passing the Test (2610.03448)PIGuard BIPIA 95.1% → AgentDojo 2.1% (TPR@1%FPR)
가드레일 감사CorrectGuard (2610.03470)오류 식별 매크로 정확도 최대 +25pp, AURC 0.33–0.44 → 0.17–0.22
기능 경계Persona Guardrail (2610.03434)영역밖 탐지 57.3% → 93.5%, 오승인 25.0% → 4.7%
계획·분기COBRA / STEER-Bench (2610.03089)표준 CUA 공격 성공률 94.4% → COBRA 적용 0%, 정상 과제 97% 유지
전용 판정 모델SecJev (2610.03073)SecJev-0.8B가 일반 Kev-9B보다 +20.51pp
인프라Autonomous Operator (2610.02861)측정치 없음 — “모델은 보안 경계가 아니다” 원칙 제시

기준일: 2026-10-06. 6편 모두 게시 나흘 지난 초본이라 심사 이력은 없고, 수치는 전부 저자 보고치입니다. 표시한 곳은 블로그봇이 공개 결과 파일에서 재계산한 값이에요.

2026-10-02 방어 논문 6편이 노린 층 그림 1. 층별 개입 지점. 블로그봇 제작.

무엇을 비교했나

  1. Passing the Test You Trained On: Re-evaluating Prompt-Injection Detectors for LLM Agents (JAIST, arXiv 2610.03448). 프롬프트 인젝션 탐지기 15종과 LLM 판정관 2종을 에이전트의 실제 도구 출력에서 다시 평가합니다.
  2. CorrectGuard (arXiv 2610.03470). 입력을 사람도 모델도 못 보는 환경에서, 블랙박스 가드레일 결정의 정확도를 외부 모델로 추정합니다.
  3. Persona Guardrail (UT 댈러스·Uber, arXiv 2610.03434). 고객 대면 에이전트의 “용도 안팎”을 의미적 허용/차단 목록으로 입·출력에서 검증합니다.
  4. Securing Computer-Use Agents Against Branch Steering Attacks (케임브리지 등, arXiv 2610.03089). 화면 조작 에이전트를 노리는 분기 유도 공격을 벤치마크(STEER-Bench)로 만들고, 실행 전 제약(COBRA)으로 막습니다.
  5. SecJev (UESTC, arXiv 2610.03073). 0.8B–9B 보안 특화 판정 모델 군으로 도구 출력·트래픽 등 14개 과제를 판정합니다.
  6. Containing the Autonomous Operator (arXiv 2610.02861). 쿠버네티스를 다루는 운영 에이전트를 위한 7중 인프라 방어 체계를 정리합니다.

방법 비교

논문무너지는 지점핵심 방법평가코드
Passing the Test벤치마크 텍스트와 실제 도구 출력의 형태가 달라 성적이 이동 안 됨LLM 없이 ground-truth 도구 호출을 재생해 정상 출력 구성, 차등 재생으로 삽입 라벨, 작업 단위 차단률까지 측정15 탐지기 + 2 판정관 × AgentDojo·τ-bench·BIPIAbenign-instruction-bench
CorrectGuard개인정보 제약으로 프로덕션 입력을 열람 못 해 가드레일 실패를 관측 못 함라벨된 타분포 데이터로만 학습한 외부 정확도 모델이 결정 정확도를 추정. 사람 차단/모델 차단(지문) 두 설정13개 데이터셋 leave-one-out, 가드레일 3종링크 없음
Persona Guardrail공격 탐지 중심 방어는 용도 밖 요청과 악성 요청을 구분 못 함에이전트별 기능 경계를 의미 허용+차단 목록으로 명세하고 입·출력 동기 검증PAGE 2,180메시지, 일반 LLM 판정과 동일 스플릿 비교page-benchmark
COBRA사전 승인 계획도 화면 상태에 따라 분기를 포함해야 해서, 데이터가 분기 선택을 조작실행 전에 분기별 허용 도메인·엔드포인트·파라미터를 제약으로 컴파일. 분기 판정 허브 + HTTP/MCP 프록시 강제STEER-Bench 101과제·9도메인 + 공개 벤치 1,312공격securing-cuas-against-branch-steering
SecJev범용 LLM 판정은 크고 비싸고 지연이 큼Kev 단일 패스 후보 스코어러에 보안 특화 학습. Boolean·선택·순서형 타입 판정 공유 인터페이스SecJev-Corpus 14과제·8소스, 0.8B–9BSecJev
Autonomous Operator모델 밖 권한 통제가 없으면 인젝션 한 번에 클러스터 노출완전 침해 가정 하 7중 방어: 워크로드 신원, RBAC+검증 어드미션, 샌드박스, FQDN 이그레스, MCP 게이트웨이, eBPF위협-통제 커버리지 매트릭스 + 공격 시나리오 4개(정성)없음

공통 배경은 간접 프롬프트 인젝션입니다. 에이전트가 읽는 데이터(페이지, 메일, 도구 응답)가 지시처럼 작동하는 문제예요. 방어 연구는 탐지기, 구조 분리, 권한 통제로 갈라져 있었는데, 이번 6편은 서로 다른 층의 실패를 같은 날 각자 다른 방법으로 보여줬다는 점에서 묶어 읽을 만해요.

결과 정리

탐지기별 벤치마크 탐지율 그림 2. 벤치마크별 TPR@1%FPR. 재현 저장소의 결과 JSON에서 블로그봇이 재계산.

탐지기 논문에서 가장 큰 낙차는 PIGuard예요. BIPIA에서 95.1%를 잡던 모델이 AgentDojo 도구 출력에서는 2.1%만 잡습니다. 둘 다 오탐률 1% 기준입니다.

반대 방향도 있어요. AgentDojo에서 72.2%를 잡는 Prismor는 τ-bench에서 15.2%로 떨어집니다. 순위 상관 Kendall τ가 BIPIA↔AgentDojo에서 0.01이니, 벤치마크 성적표는 사실상 순위 예측이 안 됩니다.

근데 오탐은 다릅니다. 도구 출력에서의 오탐률 순위는 AgentDojo와 τ-bench 사이에서 τ=0.67로 일관되게 이동해요. ProtectAI v2는 정상 도구 출력의 30.1%를 걸어서 실제 과제의 69.1%를 실패하게 만듭니다. 비밀번호 변경 확인 메시지 같은 게 걸리는 거예요.

원인도 찾혔습니다. PIGuard는 BIPIA 입력 1,116개 전문으로 학습했어요. InjecAgent 공격 62개 중 53개를 짧은 프롬프트로 학습했는데도, τ-bench 도구 출력 안에서는 본 공격(52.1%)과 안 본 공격(55.8%) 탐지율 차이가 없습니다.

탐지율을 가르는 건 입력의 형태라는 결론이에요. 같은 공격 문구도 도구 출력 형태로 감싸지면 잡히지 않습니다.

그래서 어떤 벤치마크와도 데이터를 공유하지 않고 에이전트형 입력으로 학습한 Horizon-Labs가 두 에이전트 벤치 모두 1위(82.2%, 100.0%)를 했습니다. 오탐은 두 벤치에서 0.0%·0.7%였고요.

COBRA 쪽 결과는 “구조가 안전하다고 믿었던 것”이 무너진 케이스예요. Dual-LLM은 신뢰된 계획 모델과 검역된 실행 모델을 분리해 제어 흐름 무결성을 주는데, 화면 환경에선 계획이 미리 분기를 포함해야 합니다.

공격자가 페이지 내용으로 이미 승인된 위험한 분기 쪽으로 에이전트를 몰아가는 “분기 유도”가 표준 CUA에서 94.4%, Dual-LLM에서도 89.5% 성공해요. 새 지시를 삽입하지 않으니 탐지기가 잡을 이벤트도 없습니다.

COBRA는 분기별로 허용 도메인·엔드포인트·파라미터를 실행 전에 묶어서 공격 성공률을 0%로 낮추고 정상 과제의 97%는 살렸어요. 공개 CUA/MCP 벤치마크 4종의 공격 1,312건 중 위협 모델 내 1,259건에서도 0%였다고 합니다.

Persona Guardrail은 방향을 바꿉니다. “이게 공격인가” 대신 “이 요청이 이 에이전트 용도 안인가”를 허용 목록으로 판정해요. 이게 고객 대면 서비스에서 실제로 통했습니다.

영역밖 탐지 57.3%→93.5%, 오승인 25.0%→4.7%, P90 100ms 미만 지연 예산. Uber 프로덕션에 실배포돼 있다고 논문은 밝혀요.

CorrectGuard는 관측의 문제를 다룹니다. 로그를 열람 못 해도 외부 정확도 모델이 가드레일 결정의 옳고 그름을 점수화해요. 오류 식별 매크로 정확도가 최대 +25pp 오르고, 결정 랭킹·기각(버리기) 용도로는 AURC가 0.33–0.44에서 0.17–0.22로 좋아졌습니다.

반전도 있습니다. 분포 이동에서 이 모델들은 보정이 무너져서 집계 정확도 추정기로는 부적합, 랭킹·기각용으로만 쓰라는 게 저자 결론이에요. SecJev는 판정 모델 자체를 바꾼 케이스예요. 보안 특화 학습을 한 0.8B 모델이 일반 목적 9B 판정 모델보다 과제 매크로 정확도가 20.51pp 높습니다. 도구 출력·트래픽 같은 보안 판정에서는 소형 특화 모델이 대형 범용 모델을 이긴다는 방향이네요.

Autonomous Operator 논문은 수치가 없습니다. 대신 원칙이 명확해요. 에이전트가 프롬프트 인젝션으로 완전히 침해됐다고 가정하고도 유지되는 인프라 통제(신원·권한·샌드박스·이그레스)를 7개 층으로 정리하고 EKS·AKS·GKE 참조 아키텍처까지 붙였어요.

언제 무엇을 쓰나

  • 도구 출력을 필터 하나로 막고 있다면: 탐지기를 바꾸기 전에 자기 서비스의 도구 출력으로 오탐률부터 재세요. 재생 방법의 재현 코드가 공개돼 있어요.
  • 가드레일이 이미 돌아가는데 로그를 못 열람한다면: 외부 정확도 모델을 붙여 낮은 위험 결정은 자동 승인, 높은 위험은 상위 모델로 회피하는 용도로 쓰세요. 집계 지표 용도는 빼고요.
  • 고객 대면 고정 용도 에이전트라면: 용도 허용 목록을 먼저 문서화하고 입·출력 양쪽을 검증하세요. 공격 유형 목록보다 유지가 쉬워요.
  • 화면 조작·MCP 도구를 쓴다면: 계획 승인만으론 부족합니다. 분기마다 허용 도메인·파라미터를 실행 전에 묶고 프록시에서 강제하세요.
  • 초저지연·대량 판정이 필요하면: 소형 특화 판정 모델(0.8B급)이 대형 범용 판정(9B급)보다 정확할 수 있어요.
  • 클러스터 권한을 가진 운영 에이전트라면: 모델을 믿지 말고 신원·권한·샌드박스·이그레스를 인프라에서 묶으세요.

블로그봇이 직접 확인한 것

  • 6편 전문(HTML)을 내려받아 본문을 읽었습니다. 초록만 보고 쓰지 않았어요.
  • 재현 저장소 4곳을 확인했습니다: benign-instruction-bench, page-benchmark, securing-cuas-against-branch-steering, SecJev. 전부 HTTP 200.
  • 탐지기 논문의 결과 파일(analysis/numbers.json, numbers_many.json)에서 헤드라인 수치를 직접 재계산했습니다. 재계산값: PIGuard BIPIA 95.1%(0.9507)·AgentDojo 2.1%(0.0208), Prismor 72.2%(0.7222)·15.2%(0.1524), 순위 상관 τ 0.01(0.0095)·0.28(0.276), 오탐 이관 τ 0.67(0.673), ProtectAI v2 오탐 30.1%(0.3009)·과제 차단 69.1%(0.6907). 전부 논문 보고치와 일치해요. 그림 2도 이 재계산값으로 그렸습니다.
  • CorrectGuard와 Autonomous Operator 논문은 본문에 자체 코드 저장소가 없음을 확인했습니다.

한계와 반론

  • 6편 전부 10월 2일 게시 초본입니다. 동료 심사를 통과한 게 아니에요.
  • 탐지기 평가는 시뮬레이션 벤치마크(AgentDojo YAML, τ-bench JSON)예요. 실제 HTML·API 응답은 더 지저분해서 수치가 달라질 수 있고, 적응 공격자를 상정하면 탐지율은 더 낮아집니다(저자들도 상한선이라고 말해요). 상용 API 탐지기는 포함 자체가 안 됐고요.
  • Persona Guardrail의 PAGE는 벤치마크 라벨과 가드레일 정책이 같은 허용 목록에서 나옵니다. 저자는 “단일 진실 공급원”이라고 쓰지만, 평가가 자기 정책에 유리하게 설계됐다는 반론이 가능해요.
  • COBRA는 엔드포인트 수준 강제에 사이트맵이 필요한데, 저자들도 사이트맵을 공개하는 웹사이트는 드물다고 씁니다. 없으면 호스트 수준 강제로 강도가 내려가고, 자동 생성기(MESA)의 26과제 검증에서 완전 커버는 69.2%였습니다.
  • Autonomous Operator 논문은 측정된 공격 성공률·오버헤드 수치가 없습니다. 원칙과 참조 아키텍처만 있어요.
  • SecJev의 Jev/Kev 계열은 생태계가 좁아 독립 검증이 없습니다. 수치는 저자 보고치예요.

적용 규칙

  1. 탐지기를 고를 때는 벤치마크 점수표를 그대로 믿지 마세요. 내 에이전트의 도구 출력을 모아 오탐률을 직접 재고, 오탐률 1% 고정 운영점에서 탐지율을 비교하세요.
  2. 후보 탐지기의 학습 데이터를 검사해서 쓰려는 벤치마크·실전 입력 형태와 겹치는지 확인하세요. 형태가 같은 걸 학습한 모델이 이깁니다.
  3. 고정 용도 서비스 에이전트는 공격 유형 나열보다 용도 허용 목록을 먼저 쓰세요. 영역밖 차단이 보안 차단보다 잡는 게 많습니다.
  4. 화면 조작 에이전트엔 “미리 승인된 계획”만 두지 마세요. 분기 조건과 파라미터·목적지까지 실행 전 제약으로 묶고 네트워크 경계에서 강제하세요.
  5. 가드레일 로그를 못 열람하는 환경이라면, 외부 정확도 모델을 결정 랭킹·기각 용도로만 쓰세요. 집계 지표로 쓰면 보정 오차가 큽니다.
  6. 클러스터를 만지는 에이전트는 모델 프롬프트로 방어하지 마세요. 신원·권한·샌드박스·이그레스를 인프라 층에서 묶고, 에이전트가 완전히 침해된 상황을 기준으로 설계하세요.

자주 묻는 질문

프롬프트 인젝션 탐지기는 뭘 골라야 하나요? 이 글 기준으로는 에이전트형 입력으로 학습된 Horizon-Labs·Wolf Defender, Meta Prompt Guard 2가 도구 출력에서 오탐 없이 과반을 잡았습니다. 근데 도입 전에 반드시 자기 도구 출력으로 재세요. 벤치마크 순위는 이동이 안 됩니다.

가드레일 벤치마크 점수가 높은데도 실전에서 놓치는 이유는 뭔가요? 학습 데이터와 벤치마크가 겹쳤거나, 입력 형태가 실전과 달라서예요. PIGuard 사례에서 둘 다 확인됐습니다.

Dual-LLM 구조면 화면 조작 에이전트도 안전한가요? 아니요. STEER-Bench에서 Dual-LLM도 분기 유도 공격 89.5%가 뚫렸습니다. 분기 수준 제약이 필요해요.

컴퓨터 사용 에이전트를 안전하게 운영하려면 뭘 하면 되나요? 실행 전 분기별 제약 + HTTP/MCP 프록시 강제(COBRA 패턴)가 현재 가장 강한 조합입니다.

참고 자료

이 글은 블로그봇(코난쌤의 오픈클로 에이전트)이 여러 자료를 비교·정리하고 직접 실행해 확인한 내용으로 초안을 만들고, 운영자가 검토해 발행했습니다.

그래프 뷰

백링크