결론 먼저
2026년 7월, Hugging Face는 자체 프로덕션 인프라가 평가 중이던 자율 에이전트들에 의해 침해당했다고 공개했습니다. 주말 사이에 클라우드 자격증명을 탈취하고 내부 클러스터로 횡적 이동을 했구요. 사람 손이 거의 필요 없는 공격이었고, 며칠 뒤 비슷한 사고 3건이 더 보고됐습니다.
공격은 기계 속도로 움직입니다. 평균 브레이크아웃 시간(초차 침입 → 두 번째 호스트 횡적 이동)이 이미 29분, 최단 기록은 27초입니다. 방어 자동화는 탐지(SIEM)와 대응 실행(SOAR)까지만 되어 있고, “어떤 경보가 진짜인지 판단하고 대응을 고르는” 단계는 아직 사람 몫이죠.
2026년 9월 10일 arXiv에 올라온 BlueSTAR(Boboila 외, Northeastern·Dartmouth·Vanderbilt·Punch Cyber)가 이 판단 단계 자동화를 라이브 IT/OT 사이버 레인지 2곳에서 실제로 검증했습니다.
핵심은 이겁니다. SIEM 원본 로그를 LLM에 직접 넣는 구성은 라이브 네트워크에서 무너졌고, 로그를 행위자 단위 IOC로 집계하는 신호 추출 계층이 앞에 있어야 같은 모델로 18,000배 싼 비용에 정확도 100%가 나옵니다.
기준일: 2026-09-11 기준, arXiv 2609.11852v1 리뷰입니다.
핵심 수치 요약
| 항목 | Raw-LLM | BlueSTAR-LLM(신호 추출 + LLM) |
|---|---|---|
| 연간 비용 (Opus 4.7) | $37M | $2K |
| 연간 비용 (gpt-4o-mini) | $1.1M | $60 |
| 정밀도 (gpt-4o-mini, 동일 공격) | 3.8% (18/469) | 100% (4/4) |
| 자기 호스트 격리 | 313회 | 0회 |
실험 1: 원본 로그 직접 입력이 무너지는 지점
Security Onion이 초당 23.4만 토큰을 쏟아냅니다. 1M 컨텍스트를 가진 Opus 4.7조차 초당 6.3만 토큰만 처리해서 3.7배 모자랍니다. 컨텍스트를 늘리면 호출 빈도는 줄어도 처리량 자체는 늘지 않습니다.
| 모델 | 컨텍스트 | 처리량 | 격차 |
|---|---|---|---|
| gpt-4o-mini | 128K | 약 16K tok/s | 14배 느림 |
| Sonnet 4.6 | 200K | 약 31K tok/s | 7.5배 느림 |
| Haiku 4.5 | 200K | 약 50K tok/s | 4.7배 느림 |
| Opus 4.7 | 1M | 약 63K tok/s | 3.7배 느림 |
정확도 실패가 더 인상적입니다. gpt-4o-mini가 내린 469개 행동 중 313개가 방어자 자기 머신 격리였고, 5개는 인증 기관(CA) 계정 삭제라서 실행됐다면 방어 시스템이 스스로 무력화됐을 겁니다.
20배 비싼 Sonnet 4.6으로 바꿔도 20개 윈도우 표본 전부에서 잘못된 호스트 격리를 내렸습니다. 행위자 집계가 없으면 뛰어난 모델은 더 많은 노이즈를 잘못 해석할 뿐입니다. 논문의 결론은 이 격차의 뿌리가 표현(representation)에 있어서, 모델 능력이 올라가도 닫히지 않는다는 것입니다.
BlueSTAR 구조
전체 흐름은 4단계입니다.
- Signal Extraction: 원본 텔레메트리를 행위자별 집계 IOC 보고서로 변환
- Tier 1 결정론적 응답기: OT 영향 → 횡적 이동 → 침해 계정 → 악성 인증서 순의 우선순위 사다리로 고정 규칙 매핑
- Tier 2 LLM 추론: 백그라운드에서 자연어 행동 맥락 + Tier 1이 이미 실행한 행동을 입력받아 선제 대응 발행
- Rolling Memory: 열린 위협과 양 계층의 행동 이력·근거를 사이클 간 유지
Tier 1이 메인 센싱 루프에서 동기로 도는 게 설계의 핵심입니다. 물리적 결과가 있는 행동이 LLM 호출 대기열 뒤로 밀리면 안 되기 때문에, 안전 크리티컬 응답 지연을 상한으로 보장합니다. API 타임아웃·모델 장애가 나도 Tier 1은 계속 돕니다.
Tier 2는 최소 1사이클 오프셋으로 백그라운드에서 돕니다. 동시에 in-flight인 호출은 최대 1개로 제한되구요.
탐지기는 두 종류입니다. 정밀 탐지기는 구조화 IOC를 내서 Tier 1 행동으로 직결됩니다. 문맥 보강 탐지기(SED)는 자연어 출력을 내서 Tier 2만 소비합니다. 고정 규칙에 바로 물리면 오탐률이 감당 안 되는 애매한 신호를, LLM 계층에서 문맥 판단으로 소화합니다.
실험 2: 규칙 기반 방어(Tier 1)의 두 구멍
구멍 하나, 탐지 커버리지 갭(StolenCred 체인). 도메인 자격증명 덤프(DCSync)는 정상 DC 동기화와 로그가 똑같습니다. 규칙으로는 안전한 임계값이 없어서 Tier 1은 해당 신호에 0행동이었고, 무상태 WMI 횡적 이동에는 세션 종료가 조용히 실패했습니다. 6분 만에 기밀 파일 5개가 전부 유출됐습니다(Res-AUC 0.146, 무방비 0.145와 사실상 동일).
LLM은 같은 행동 IOC를 읽고 “외부 호스트에서 Administrator가 복제 → 자격증명 탈취”로 추론해서, 횡적 이동 탐지 전에 자격증명 교체 권고와 재무 워크스테이션 격리를 냈습니다. 파일 5개 전부 보존(Mission 1.0).
구멍 둘, 사이클 간 추론 갭(Re-Compromise 체인). 도난 Administrator 자격증명으로 매 사이클 재침투하는 공격자 앞에서 Tier 1은 매번 같은 세션 종료를 반복합니다. 지난 실패의 기억이 없으니까요. Tier 2는 Rolling Memory에서 재침투 신호를 보고 자격증명 교체 권고 + DC 격리로 대응을 끌어올렸습니다. 규칙은 횡적 이동 3번을 전부 허용했고, LLM은 3번째를 차단했습니다.
실험 3: 7개 공격 체인 전체 결과
| 공격 체인 | 무방비 | Tier 1만 | BlueSTAR | BlueSTAR Mission |
|---|---|---|---|---|
| ESC1 (명확한 신호) | 0.219 | 0.722 | 0.740 | 1.000 |
| ESC1-Hash | 0.220 | 0.734 | 0.737 | 1.000 |
| StolenCred (애매한 신호) | 0.145 | 0.146 | 0.390 | 1.000 |
| Re-Compromise | 0.244 | 0.379 | 0.426 | 1.000 |
| Implant | 0.219 | 0.325 | 0.403 | — |
| Concurrent (동시 다발) | 0.012 | 0.014 | 0.356 | 1.000 |
| Water Tank (Range B) | 0.193 | 0.907 | 0.915 | 1.000 |
StolenCred·Re-Compromise·Concurrent·Implant은 3회 독립 실행 평균이고 σ < 0.02입니다. 패턴이 명확합니다. 신호가 명확한 체인에서는 Tier 1로 충분하고 Tier 2를 더해도 성적이 떨어지지 않습니다. 문맥 추론이 필요한 순간에만 Tier 2가 격차를 벌립니다.
Concurrent 시나리오가 대표적입니다. 시끄러운 유인 에이전트(반복 ESC1, 미션 없음)가 방어 체인을 포화시키는 동안 조용한 유출 에이전트가 파일 5개를 가져가는 구조인데, Tier 1만 있으면 Res-AUC 0.014로 무방비와 구분이 안 됩니다. BlueSTAR는 Tier 1이 유인을 흡수하는 동안 Tier 2가 두 위협을 독립 추적해서, 조용한 에이전트가 플래그 호스트에 도달하기 2~18초 전에 선제 격리했습니다. 다른 호스트에서 관찰된 활동만으로 플래그 호스트를 선제 격리한 게 이 시나리오의 승부처입니다.
코드 수정 없이 전력 SCADA 레인지(Range A)에서 지멘스 PLC 수조 레인지(Range B)로 이전되어 구조 일반성도 확인됐습니다.
Res-AUC: 방어 성적을 하나의 점수로
기존 지표는 에이전트 내부 상태(보상 함수)에 묶이거나 사고 후 스냅샷(MTTR)에 한정됩니다. 논문의 Res-AUC는 이렇게 계산합니다.
R(t) = P(t) × M(t) × (1 − 0.2 × D(t))
- P (Posture): 공격자가 쥔 (자산, 사용자) 접근 쌍. 선행 지표
- M (Mission): 미션 크리티컬 자산의 CIA 영향. 후행 지표
- D (Collateral): 공격자가 없는 호스트를 격리·재시작한 데 따른 페널티
게임 내 모든 이벤트에서 샘플링해서 사다리꼴 적분하고 게임 길이로 정규화한 게 Res-AUC입니다. 1.0이면 게임 내내 완전 봉쇄구요. 내부 상태 접근 없이 행동 어휘와 센서만 보고 규칙 기반과 LLM 방어자를 같은 성적표에 올립니다.
에이전트 설계에 가져갈 것
원문 근거와 내 해석을 구분해서 정리했습니다.
- 원문 근거: 토큰 처리량·비용·정확도 3가지 실패가 모두 “패킷 볼륨 입력 vs 행위자 단위 의사결정”의 표현 불일치에서 나온다고 명시합니다.
- 내 해석: 이건 보안 도메인만의 얘기가 아닙니다. LLM 에이전트를 고처리량 원본 데이터에 붙일 때, 입력을 의사결정 단위로 집계하는 계층이 모델 선택보다 앞선 전제 조건입니다. 센서 스트림 감시나 긴 컨텍스트 코드베이스 에이전트도 같은 구조 문제를 가집니다.
- 원문 근거: Tier 2의 인상적 장면은 전부 “이미 시도했고 실패한 행동의 이력”을 읽고 행동 종류를 바꾸는 순간입니다.
- 내 해석: 상태 없는 사이클 호출에서는 나올 수 없는 능력입니다. 메모리 설계가 곧 대응 가능한 위협 클래스를 결정합니다.
- 원문 근거: 무제한 LLM 행동의 위험을 자기 격리 313회 사례로 보여줍니다.
- 내 해석: LLM 행동을 타깃이 명시된 행동 어휘로 제한하는 것이 정확도 문제 이전의 안전 장치입니다.
한계
방어자 행동에 맞춰 전술을 바꾸는 적응적 공격자는 범위 밖입니다. 자격증명 교체 같은 일부 대응은 자율 실행 대신 운영자 보고로 끝납니다. 도메인 Administrator 재설정처럼 안전한 자율 조치가 없는 위협 클래스도 있고, 그 경계를 운영자에게 맡기는 것 자체가 설계 요구사항입니다. 평가 환경 2곳 모두 논문 팀이 구축한 레인지라서 실제 프로덕션 배포 검증은 아니라는 점도 유의해야 합니다.
더 실습해보고 싶은 분들께
자주 묻는 질문
BlueSTAR에서 LLM이 맡는 역할은 정확히 뭔가요?
Tier 2 추론 계층입니다. 자연어 행동 맥락과 사이클 간 행동 이력을 읽고, 규칙으로는 안전하게 처리할 수 없는 애매한 신호에 선제 대응을 내립니다. 전체 행동을 LLM이 결정하지는 않습니다.
LLM을 원본 보안 로그에 직접 붙이면 어떤 문제가 생기나요?
세 가지입니다. 처리량(수집 234K tok/s 대비 최고 모델 63K tok/s), 비용(연 2K), 정밀도(3.8%, 자기 호스트 격리 313회). 세 문제 모두 모델 개선으로 해결되지 않는다는 게 논문의 주장입니다.
Res-AUC가 기존 평가 지표와 다른 점은 뭔가요?
게임 종료 상태만 보지 않고 매 이벤트마다 샘플링해서, 빠른 차단과 느린 차단, 외과적 대응과 무차별 격리를 구분합니다. 에이전트 내부 상태가 필요 없어서 규칙 기반과 LLM 방어자를 같은 기준으로 비교할 수 있습니다.
실제 기업 환경에 바로 적용할 수 있나요?
토폴로지·OT 프로토콜이 다른 두 레인지에서 수정 없이 이전이 확인됐습니다. 다만 두 환경 모두 논문 팀이 구성한 레인지라 실제 프로덕션 배포 검증은 아니라는 점은 유의해야 합니다.
원문
- arXiv: BlueSTAR: Tiered Agentic Architecture for Autonomous Cyber Defense (2609.11852v1, 2026-09-10)
- 저자: Simona Boboila, Xavier Cadet, Edward Koh, Daniel Balasubramanian, Dirk Van Bruggen, Peter Chin, Alina Oprea
- 인용된 실전 사례: 2025년 말 Anthropic이 보고한 AI 에스피오나지 캠페인, 2026년 7월 Hugging Face 프로덕션 침해 사고