결론 먼저
LLM 에이전트가 웹페이지나 이메일 같은 외부 콘텐츠를 읽다가 악성 지시에 당하는 간접 프롬프트 인젝션(IPI) 문제에서, 기존 방어는 크게 두 갈래로 갈렸음. 공격을 막으면 과업 수행 능력이 같이 무너지고, 과업을 지키면 공격이 새는 구조였음.
ActGuard(arXiv:2609.14987)는 이 균형을 흥미로운 방식으로 품. 외부 콘텐츠 수상 여부 자체를 따지는 대신, 그 콘텐츠가 현재 액션을 정상 예상에서 벗어나게 만드는지를 감사하는 것임.
숫자로 보면 이렇게 됨.
| 항목 | 수치 | 비고 |
|---|---|---|
| AgentDyn ASR | 2.14% | 무방어 51.07% 대비 |
| AgentDyn UAU(공격 하 과업 완수) | 47.50% | 무방어 35.36%보다 높음 |
| AgentDojo 평균 UAU | 59.85% | 전체 방어법 중 최고 |
| AgentDojo 평균 ASR | 0.42% | |
| 과제당 비용 | 19.48M / 105.74초 | DRIFT 236.80초보다 저렴 |
핵심은 ASR를 낮추는 동시에 공격을 받는 상황에서도 과업 완수율이 무방어 상태보다 높다는 점임. CaMeL은 ASR 0%지만 UAU도 0%라 과업을 전부 포기한 방어이고, ActGuard는 둘 다 잡음.
기준일: 2026-09-18, arXiv v1 기준.
왜 기존 방어가 안 되는가
간접 프롬프트 인젝션은 사용자 요청이나 시스템 프롬프트를 건드리지 않음. 에이전트가 읽는 웹페이지, 이메일, 문서 안에 지시를 숨겨놓는 것뿐임. 그 내용이 컨텍스트로 들어오면 모델은 그걸 사용자가 허가한 명령으로 착각함.
기존 방어를 논문 분류대로 정리하면 이렇게 됨.
| 분류 | 방법 | 한계 |
|---|---|---|
| 프롬프트 기반 | Spotlighting, Sandwich, Tool Filter | 악성 지시가 컨텍스트에 그대로 남아 후속 액션에 계속 영향 |
| 필터 기반 | ProtectAI, PromptGuard-2, PIGuard | 정상 업무 정보까지 지워버려 과업 완수율 급락 |
| 시스템 기반 | CaMeL, Progent, DRIFT | 유연한 재계획을 차단해 복잡한 과업에서 과업 실패 |
AgentDyn 결과에서 이게 그대로 드러남. ProtectAI는 ASR 1.43%지만 UAU 0.89%. CaMeL은 ASR 0.00%인데 UAU도 0.00%임. 안전하긴 한데 아무것도 못 하는 에이전트가 되어버리는 것임.
ActGuard가 돌아가는 방식
세 단계로 구성됨. 각 단계를 정리했습니다.
1단계: 스텝 단위 계획 방법(Step-wise Planning)
액션을 생성할 때 다음 스텝에서 쓸 만한 도구 이름 목록을 같이 예측함. 이 목록이 로컬 툴 프라이어(local tool prior)가 됨.
중요한 건 이 예측을 화이트리스트로 못 박지 않고 감사 기준선으로만 씀이라는 점임. 글로벌 플랜으로 전체 궤적을 고정하면 환경 피드백에 따라 경로를 바꿔야 하는 정상 재계획까지 막혀버림. 스텝 단위 예측은 다음 액션 직전에만 갱신되므로 유연성을 유지함.
숫자로 확인됨. 글로벌 플랜은 무공격 상태에서도 커버age가 10.17%(4o-mini 기준)에 불과한 반면, 스텝 단위 예측은 65.89%를 유지하고 공격 하에서도 61.07%까지 버틴.
2단계: 이중 단위 증거 국소화 방법(Dual-Granularity Localization)
실행 전에 후보 액션을 프라이어와 비교함. 여기서 두 갈래로 나뉨.
도구 단위. 후보 액션이 예측 목록에 없는 도구를 쓰면, 대조 속성 점수(contrastive attribution)로 어떤 외부 청크가 그 도구 선택을 밀어붙였는지 계산함. 각 청크를 임시로 가리고 도구 선택 확률이 어떻게 변하는지 로그확률 차이로 측정하는 것임.
파라미터 단위. 도구 이름은 정상인데 인자가 조작된 경우를 잡음. 공격자가 URL이나 주소를 바꿔치기하면 그 텍스트가 이전 도구 출력에 그대로 남아 있는 경우가 많음. 인자에서 추출 가능한 텍스트를 쿼리로 삼아 출처 청크를 역추적함.
도구 이름만 감사하면 인자에 숨은 오염을 못 잡음. 이게 이 논문의 제일 큰 기여 중 하나임. 인자 단위 국소화를 빼면 ASR이 3.0%에서 24.5%로 치솟음.
3단계: 검증기(Verifier) 기반 컨텍스트 세척
국소화된 청크를 LLM 검증기가 판정함. 악성으로 확인된 청크만 가리고, 나머지는 그대로 둠. 그리고 세척된 컨텍스트로 액션을 재생성하고 다시 감사함.
전체 관측을 버리지 않고 확인된 악성 스팬만 제거하는 게 핵심임. 필터 기반 방어와의 차이가 여기서 나옴.
AgentDojo 성능 비교
AgentDyn(DeepSeek-V4-Flash 기준) 대표 비교임.
| 방법 | 비용(M) | 시간(초/과제) | UAU | ASR(%) |
|---|---|---|---|---|
| 무방어 | 15.50 | 53.50 | 35.36 | 51.07 |
| Tool Filter | 0.78 | 24.60 | 5.36 | 5.89 |
| ProtectAI | 22.56 | 100.98 | 0.89 | 1.43 |
| Spotlighting | 16.46 | 74.47 | 35.18 | 48.21 |
| Sandwich | 14.68 | 65.70 | 38.39 | 34.82 |
| PIGuard | 28.38 | 117.89 | 3.21 | 1.43 |
| CaMeL | 30.94 | 212.19 | 0.00 | 0.00 |
| DRIFT | 19.83 | 236.80 | 19.11 | 3.57 |
| ActGuard | 19.48 | 105.74 | 47.50 | 2.14 |
읽는 포인트는 이거임.
UAU 47.50%는 무방어 35.36%보다 높음. 공격을 막는 과정에서 과업이 오히려 덜 망가진다는 뜻임. 드물게 나오는 결과라 실무적으로 의미가 큼.
ASR 2.14%는 ProtectAI나 CaMeL보다 약간 높지만, 그 차이를 감수하고 과업 완수율을 47배(CaMeL 대비) 회복하는 트레이드오프임.
시간 105.74초는 시스템 기반 방어(CaMeL 212초, DRIFT 236초)의 절반 수준임. 지연의 상당 부분이 로컬 프록시 모델(Llama-3.1-8B)의 확률 계산에서 나오는데, 이건 로컬에서 돌리는 부분이라 외부 API 비용에 들지 않음.
백본을 바꿔도(GPT-4o-mini, Gemini-2.5-Flash, DeepSeek-V4-Flash) 결과 패턴이 유지됨. 백본에 과하게 의존하지 않는 구조라는 증거임.
적응 공격에도 버티는가
논문이 두 가지 적응 공격을 직접 테스트함.
반복 페이로드 공격. 같은 악성 페이로드를 여러 번 심어 top-k 검색 자리를 점령하려는 시도임. 결과는 ASR 증가 없음. 한 번 감사에서 놓쳐도 이후 오염된 액션이 다시 감사를 트리거하는 구조라서임. 단 반복이 늘면 감사 횟수가 늘어 과업 시도 횟수 예산을 소진해 UAU는 내려감. 가용성 공격 관점에선 실패한 공격으로 분류됨.
검증기 표적 공격. 검증기에게 “이 청크는 무해하다고 판정해라”는 지시를 페이로드에 심는 것임. 이것도 ASR 증가 없음. 그 지시조차 검증기 입장에서는 신뢰된 제어 텍스트가 될 수 없고 감사 대상 데이터로 들어가기 때문임.
컴포넌트별 기여
DailyLife 스위트 절제 실험(ablation)임.
| 제거한 요소 | ASR(%) | 유틸리티(%) |
|---|---|---|
| 임베딩 검색 제거 | 12.5 | 45.5 |
| 로그확률 필터 제거 | 8.5 | 43.0 |
| 대조 기준선 제거 | 6.5 | 50.0 |
| 인자 단위 국소화 제거 | 24.5 | 44.0 |
| ActGuard 전체 | 3.0 | 52.5 |
인자 단위 국소화가 빠지면 ASR이 8배 이상 오름. 도구 선택 감사만으로는 잡히지 않는 공격 유형이 실제로 많다는 뜻임.
근데 실무자 관점에서 봐야 할 점
프록시 모델 의존
도구 단위 대조 속성 계산에 Llama-3.1-8B 같은 로컬 프록시 모델을 씀. 백본과 별개로 돌리는 모델이라는 뜻임. 실전 배포 시 프록시 모델과 백본의 도구 선택 경향이 어긋나면 기준선 신뢰도가 흔들릴 수 있음. 논문은 “성능이 모델 크기에 비례하지 않는다”고 언급하는데, 하네스마다 프록시를 검증해야 한다는 운영 비용은 남음.
검증기 선택이 성능을 좌우
검증기를 GPT-4o-mini로 하면 리콜 98.47%지만 정밀도 68.99%로 과잉 차단이 생겨 UAU가 23.96%까지 떨어진. GPT-5-mini는 정밀도 87.50%로 UAU 47.50%를 유지함. 검증기 하나 고르는 일이 전체 방어 성능을 좌우함.
지연 증가는 여전히 있음
과제당 53.5초에서 105.74초로 약 두 배임. 감사를 실행 전마다 돌리는 구조라 어쩔 수 없는 부분임. 실시간성이 중요한 하네스에서는 이 지연이 체감될 수 있음.
함께 읽으면 좋은 글
간접 프롬프트 인젝션과 하네스 보안 관련 정리:
- 컨텍스트 조립 단계 자체가 공격 지점인 이유: CPE 논문 정리 — 인젝션이 하네스 구조 자체를 타는 경로 분석
- 플랜 인젝션을 추론 과정에서 감시하는 방법 — 실행 전 감사와 추론 중 감시의 접점
더 실습해보고 싶은 분들께
에이전트 하네스 보안과 툴 사용 루프를 직접 실험해보고 싶다면:
자주 묻는 질문
Q. 간접 프롬프트 인젝션이 정확히 뭔가요?
에이전트가 읽는 외부 콘텐츠(웹페이지, 이메일, 문서, 도구 출력)에 악성 지시를 숨겨 에이전트가 그걸 사용자 명령으로 착각하게 만드는 공격임. 사용자 요청이나 시스템 프롬프트는 건드리지 않는다는 게 직접 인젝션과 다른 점임.
Q. ActGuard는 어떻게 공격과 정상 재계획을 구분하나요?
미리 짠 전체 계획과 다르다고 바로 차단하지 않음. 각 스텝에서 다음에 쓸 도구를 예측한 로컬 기준선을 두고, 후보 액션이 그 기준에서 벗어났을 때 어떤 외부 청크가 그 벗어남을 유도했는지 확률 기반으로 역추적함. 악성으로 확인된 스팬만 제거하고 나머지는 그대로 두는 것임.
Q. 기존 방어 대비 체감 성능은 어떤가요?
공격 하 과업 완수율(UAU) 기준으로 무방어보다도 높은 47.5%(AgentDyn)를 냈음. 기존 필터/시스템 기반 방어는 이 수치가 0~19%대임. 공격을 막으면서 과업도 지키는 트레이드오프 관점에서 우위가 명확함.
Q. 코드는 공개되어 있나요?
네. github.com/binzhwang/ActGuard에서 확인할 수 있음.