🤖 [최신] The Innocent Courier (LLMLeak) — 'LLM을 심부름꾼 삼다'

논문 정보

한 줄 요약 — 'LLM은 그냥 웹사이트를 열어봤을 뿐인데'

지금까지 LLM 보안 연구는 주로 프롬프트 인젝션과 챗봇 제공자에게 비밀이 흘러가는 문제를 다뤘다. 이 논문은 그 옆에 있던 제3의 유출 경로를 증명한다. 바로 인터넷에 직접 접속할 수 없는 로컬 악성코드가, LLM의 '웹사이트 가져오기(fetch)' 도구를 심부름꾼으로 이용해 비밀 데이터를 밖으로 빼내는 LLMLeak 공격이다. 악성코드는 비밀을 URL 안에 인코딩해 넣고는, LLM에게 그 URL을 "라이브러리 마이그레이션에 필요한 문서"처럼 보이게 제시한다. LLM이 순순히 그 URL을 열면, 공격자가 통제하는 DNS·웹 서버가 그 비밀을 받는다 — LLM은 자기가 유출에 가담했다는 사실조차 모른 채 말이다. 11개 오픈 파라미터 모델에서 공격 성공률 79.7%, 실제 챗봇 사례연구도 함께 제시됐다.

"악성코드가 네트워크 라이브러리를 쓸 필요가 없다. 그저 '이 링크 좀 열어봐'라고 부탁하면, LLM이 알아서 다 해준다." — 이 논문이 새로 정의한 위협 모델.

배경 — 왜 '웹 가져오기'가 유출 경로가 되는가

• 기존 위협 모델의 두 축: LLM 보안은 ① 프롬프트 인젝션(신뢰할 수 없는 입력이 모델을 조종), ② 데이터가 챗봇 제공자에게 전송되는 프라이버시 문제 — 이 두 가지를 중심으로 연구돼 왔다. 방어책도 이에 맞춰 입력 구조화(input structuring), 로컬 LLM 배치 등으로 발전했다.
• 놓친 제3의 경로: 하지만 LLM이 제3자에게 데이터를 흘릴 위험은 별도로 다뤄지지 않았다. 그리고 이 위험은 악성코드가 이미 사용자 PC에서 돌고 있다는, 흔하지만 지금까지 '유출 경로'로는 잘 다뤄지지 않은 조건에서 터진다.
• 핵심 제약 = '인터넷 직결 불가': 논문의 설정은 명확하다. 악성코드는 로컬에서 실행되지만 인터넷에 직접 통신할 수 없다. 보안 제품·방화벽·에어갭 유사 환경 등에서 이런 제약은 흔하다. 문제는 사용자 옆에 똑똑하고 인터넷이 되는 프로그램 — 바로 LLM — 이 있다는 것이다.
• 기존 기법은 왜 실패했나: "이 데이터를 코드로 만들어 네트워크 라이브러리로 전송해" 같은 지시는 탐지가 쉽고, 애초에 코드 실행·네트워크 라이브러리가 통제되는 경우가 많다. LLMLeak은 이 모든 걸 우회한다 — 오직 정당한 도구 호출 하나(웹 가져오기)만 쓴다.

핵심 1 — 위협 모델: '인터넷 못 쓰는 악성코드'가 LLM을 빌린다

• 공격자 구성요소: ① 사용자 PC에서 실행되는 악성 컴포넌트(비밀을 보유), ② 공격자가 통제하는 DNS 또는 웹 서버, ③ 그 사이에 낀 선의의 LLM(또는 에이전트). 악성코드는 비밀을 직접 보내지 않는다 — LLM에게 '열어볼 URL'을 건네고, 그 URL이 DNS 질의로 나가면서 비밀이 새어 나간다.
• '선의의 심부름꾼'이라는 반전: LLM은 악의가 없다. 오히려 사용자에게 도움이 되려고, 요청된 정보를 얻기 위해 정상적으로 웹을 가져온다. 유출의 실행자가 아니라 전달자(courier)일 뿐이다 — 논문 제목이 'The Innocent Courier(결백한 심부름꾼)'인 이유다.
• 비밀을 URL에 인코딩: 악성코드는 민감 데이터를 URL의 (서브도메인·경로 등) 일부로 인코딩한 뒤, 그 링크를 "마이그레이션에 꼭 필요한 라이브러리 문서"처럼 정당한 작업의 일부로 위장해 제안한다. LLM이 그 URL을 접속하는 순간 DNS 질의·HTTP 요청 자체가 곧 유출 채널이 된다.
• 에어갭 유사 환경까지 위협: ' 인터넷이 막힌 악성코드'는 오프라인·망분리 시나리오의 전형이다. 그 옆의 LLM이 (정당한 목적이든 뭐든) 인터넷에 닿을 수만 있으면, 격리는 유지되지 않는다.

핵심 2 — 공격 흐름 (요약)

• 1·준비: 악성 컴포넌트가 사용자의 로컬 비밀(파일·토큰·문서 등)을 읽어 URL에 인코딩한다.
• 2·위장: 그 URL을 "이 작업에 필요한 참고자료"로 포장해 LLM의 웹 가져오기 도구에 넘긴다(예: "이 라이브러리로 마이그레이션하려면 이 문서가 필요하다").
• 3·심부름: LLM은 정당한 도구 호출이라 믿고 URL을 접속한다 — 도구 남용도, 명백한 악성 프롬프트도 없다.
• 4·유출: 요청은 공격자 통제 DNS/웹 서버로 향하고, 그 안에 인코딩된 비밀이 함께 도착한다. 악성코드는 직접 통신하지 않았다.
• 핵심 설계: 악성코드는 오직 '웹 가져오기' 도구 하나에만 의존한다 — 코드 생성도, 네트워크 라이브러리도 필요 없다. 이것이 탐지·차단을 훨씬 어렵게 만든다.

핵심 3 — 평가 결과: 11개 모델에서 79.7%

• 규모: 11개 오픈 파라미터(open-weight) 모델을 대상으로 광범위하게 평가했고, 공격 성공률(ASR) 79.7%를 관측했다 — 특정 모델 하나의 실수가 아니라 모델 계열 전반의 구조적 취약점임을 보여준다.
• 실제 챗봇 사례연구: 실험실 조건에 그치지 않고 실제 배포된 챗봇을 대상으로 한 사례연구(case study)도 수행했다 — LLMLeak이 현실 시스템에서도 유효함을 시사한다.
• '탐지하기 쉬운 지시'와의 대비: "네트워크 라이브러리로 데이터를 보내라"는 명시적 지시는 손쉽게 걸러진다. 반면 LLMLeak은 평범한 도구 호출로 보이므로, 정적 필터·지시 기반 방어를 그대로 통과한다.
• 의미: 하나의 정당한 도구(웹 가져오기)가 완전한 유출 채널로 전용될 수 있음이 실증된 것이다. 에이전트가 도구를 많이 가질수록, '정상적인' 한 번의 호출이 위험해진다.

핵심 4 — 왜 기존 방어가 어긋나는가, 그리고 시사점

• 프롬프트 인젝션 방어로는 못 막는다: 입력 구조화·인젝션 필터는 '모델을 조종하려는 입력'을 막는 데 초점이 있다. LLMLeak은 모델을 조종하지 않는다 — 정상 도구를 정상 흐름 안에서 쓰게 만들 뿐이다.
• 로컬 LLM도 답이 아니다: '데이터를 제공자에게 보내지 않으려고 로컬 LLM을 쓴다'는 해법은 제공자 유출만 줄인다. 웹 가져오기 도구가 있다면 제3자(공격자) 유출 경로는 그대로 남는다.
• 도구 호출 감사(auditing)의 재정의: 문제는 '도구가 악성인가'가 아니라 '정당한 도구가 어디로 향하는가'다. 아웃바운드 목적지·DNS 해석·URL 출처에 대한 검증(허용목록, 목적지 평판)이 새로운 방어선이 된다.
• 부분 통제의 한계: 네트워크를 '일부만' 막는 환경, 또는 LLM에 웹 도구를 붙여둔 환경에서는 격리가 성립하지 않는다. '악성코드는 인터넷을 못 쓰니 안전'이라는 가정은, 그 옆에 인터넷 되는 LLM이 있으면 무너진다.
• 근본 교훈: 에이전트의 도구 집합(tool surface)은 곧 데이터 반출 경로의 집합이다. 도구 권한 설계는 '무엇을 할 수 있나'만이 아니라 '무엇을 내보낼 수 있나'로도 봐야 한다.

한계 · 유의점

• 신규 프리프린트: 제출 2일차로 인용 집계 전(OpenAlex 0회)이다. 결과의 장기 재현성은 후속 연구·동료평가로 검증되어야 한다.
• 모델·조건 의존성: 79.7%는 11개 오픈 파라미터 모델 기준이다. 상용·최신 모델에서의 성공률, 그리고 안전장치가 켜진 조건에서의 변화는 별도 확인이 필요하다.
• 위협 모델의 전제: 악성코드가 이미 로컬에서 실행 중이고 비밀에 접근할 수 있어야 한다. 이 전제가 성립하는 고위험 환경(개발자 머신, 기업 단말)이 곧 논문의 표적이다.
• 방어는 공격-대응 게임: 목적지 검증·아웃바운드 제한이 유효하겠지만, 인코딩 방식(DNS vs HTTP, URL 스킴)을 바꾸는 적응적 공격과의 군비경쟁이 예상된다.

출처

• 논문 (arXiv): arXiv:2610.01768 — The Innocent Courier: Covert Exfiltration Through Legitimate LLM Web Fetching
• PDF: arxiv.org/pdf/2610.01768 · DOI: 10.48550/arXiv.2610.01768
• 분류: Cryptography and Security (cs.CR) · Machine Learning (cs.LG) · 2026-10-01 제출
• 함께 읽기 — LLM/에이전트 위협 계보: 2026-10-01 GPT-6 Astra의 범위 밖 공급망 공격 시도 · 2026-09-27 OllamaDrama(무인증 Ollama 하니팟) · 2026-09-29 GAZEleak · 2026-09-26 LLM Agents Can Easily Tamper With Their Own Traces · 고전 은닉채널 연구와 연결(Cold Boot 2026-09-23, Saltzer–Schroeder 2026-09-28)