🤖 [최신] ORCAGen — 격리하지 말고 속여라: 악성코드마다 맞춤 '기만'을 생성하는 LLM 능동 방어

논문 정보

한 줄 요약 — '악성코드를 발견하면 즉시 죽이는가? 그러면 공격자에 대해 배울 기회도 함께 죽는다'

전통적인 악성코드 방어의 제1원칙은 가장 빠른 제거·격리다. 격리(containment) 관점에선 옳지만, 그 순간 공격자가 무엇을 하려 했는지 관찰할 기회를 스스로 버린다. 능동 방어(active defense)의 오랜 답은 기만(deception) — 악성코드를 가짜 환경으로 유인해 엉뚱한 표적에 속게 만들고 그 행동을 관찰하는 것이다. 문제는 맞춤형 기만을 손으로 쓰는 비용이 너무 컸다는 점이다. ORCAGen은 그 제작 공정을 LLM에 맡긴다. 핵심은 안전장치에 있다 — 생성은 오프라인에서, RAG로 큐레이션된 지식베이스에 근거해 하고, 만든 PoC 악성코드로 미리 검증한 뒤, 런타임에는 검증을 통과한 로직만 결정론적으로 집행한다. 즉, “LLM이 매 요청을 판단하는” 방식이 아니라 “LLM은 배포 전에 계획을 세우고, 배포 후엔 검증된 코드만 돈다”는 구조다.

“방어는 종종 의심스러운 프로그램을 가능한 한 빨리 제거하거나 격리한다 — 격리에는 효과적이지만, 공격자 행동을 관찰하고 표적형 대응을 배치할 기회를 낭비하기도 한다.” — 논문 서두

배경 — '제거'의 대가, 그리고 기만을 자동화하기 어려웠던 이유

• 격리의 딜레마: 샌드박스·EDR은 의심 코드를 즉시 차단한다. 그러나 표적형 공격(APT)의 가치는 그 행동 자체에 있다 — 무엇을 읽고, 어디로 접속하고, 어떤 명령을 기다리는가. 격리는 이 정보를 없앤다.
• 기만은 강력하지만 수작업이다: 허니팟·허니토큰·가짜 파일시스템은 “표적별로 맞춤”일 때만 효과가 있다. 악성코드 종류마다, 버전마다 기만 시나리오를 사람이 설계·검증하는 비용이 확장을 막아왔다.
• 그렇다고 LLM에 바로 맡길 수 없다: 범용 LLM은 그럴듯하지만 일반적이거나 환각(hallucinated)된 출력을 낸다. 존재하지 않는 API를 호출하거나, 검증되지 않은 파괴적 로직을 만들 수 있다. 능동 방어 코드가 틀리면 보안이 아니라 사고가 된다.
• 논문의 통찰: 정확성은 지식에 근거하게 하는 것(RAG)과 행동 전에 검증하는 것(PoC)으로 확보할 수 있다. 생성(비결정·창의)과 집행(결정·안전)을 시간과 신뢰 경계로 분리하자는 발상이다.

핵심 1 — 3단계 워크플로: 오프라인 생성 → 배포 전 검증 → 런타임 집행

• ① 오프라인 생성: RAG + 구조화 프롬프트로 두 산출물을 함께 만든다 — PoC 악성코드와, 그에 대응하는 기만 오케스트레이션 코드. 특정 악성코드족에 맞춘 ‘기만 플레이북’을 자동 작성하는 셈이다.
• ② 배포 전 검증: 생성된 PoC 악성코드는 격리된 환경에서 안전·재현 가능하게 실행되어, 해당 기만 전략이 표적 악성코드의 행동을 실제로 방해(disrupt)·우회 유도(redirect)·억제(suppress) 하는지 시험한다. 통과해야만 다음 단계로 간다.
• ③ 런타임 집행: 살아남은 로직만 실제 방어 경로에 투입된다. 런타임에는 LLM이 없다 — 경량이고 결정론적(deterministic)이다. 이 분리가 논문의 안전성 논거의 핵심이다.

핵심 2 — RAG 지식베이스가 '일반론'과 '환각'을 누른다

• 큐레이션된 KB: ‘악성코드 절차(procedure)’와 ‘능동 방어 전략’을 정리한 지식베이스가 생성 과정 전체의 근거로 깔린다. LLM은 백지에서 상상하는 대신, 검색된 사실에 붙여서 코드를 쓴다.
• 목적은 위협 특화(threat-specific): 결과물이 “아무 악성코드에나 통하는 뻔한 기만”이 아니라, 해당 표적의 실제 행동에 맞춘 실행 가능한 기만 로직이 되도록 유도한다.
• 환각 대책의 형태: KB로 근거를 좁히고, PoC로 실행을 검증하는 ‘이중 안전망’. RAG는 특히 존재하지 않는 API 호출 같은 LLM의 대표적 실패를 줄이는 역할을 한다.

핵심 3 — 5개 LLM · 150개 실제 악성코드로 벤치마크

• 비교 모델: GPT-4o · GPT-5.5 · Gemini 3.5 Flash · Qwen3-Coder · Claude Sonnet 4.5.
• 평가 축(5개): 실행 성공률 · 환각률 · 정제(refinement) 노력 · 기만 효과 · 런타임 오버헤드.
• 평가 대상: 합성 악성코드 시나리오 + 150개 실제 악성코드 샘플(키로거 · 인포스틸러 · 랜섬웨어 3대 범주).
• 핵심 결과: GPT-5.5가 가장 적은 정제로 끝났고 환각 API가 관측되지 않았다(0). Gemini 3.5 Flash는 가장 낮은 응답 시간·런타임 오버헤드를 보였다.
• 함의: “코드를 정확히 쓰는 모델(GPT-5.5)”과 “저지연·저오버헤드로 도는 모델(Gemini 3.5 Flash)”이 서로 다른 축에서 강점을 보인다 → 생성 모델과 배포 환경을 용도별로 고를 수 있다는 실무적 시사. RAG+구조화 프롬프트가 확장 가능한 악성코드별 기만 플레이북 구축을 뒷받침한다는 결론이다.

방어·시사점 — '생성'과 '집행'을 신뢰 경계로 나눠라

• 패러다임 전환: 차단(block) → 관찰(observe) → 기만(deceive) → 역이용(weaponize). 방어의 목표가 “없애기”에서 “속여서 배우기”로 이동한다.
• 런타임 신뢰 경계가 핵심 설계: LLM은 오프라인 계획자, 런타임은 검증된 코드 실행기. 이 분리는 LLM의 비결정성·환각을 운영 리스크에서 떼어내는 일반 패턴이다 — LLM을 보안 인프라에 넣을 때 재사용할 만한 아키텍처 교훈.
• 모델 선택은 트레이드오프: 환각·정제(정확성)와 지연·오버헤드(운영 비용)는 다른 축이다. 코드 생성 파이프라인엔 GPT-5.5급, 엣지 런타임엔 Gemini Flash급이 어울린다는 식의 분리가 가능하다.
• 레드팀 자산으로서의 PoC: PoC 악성코드는 무기가 아니라 검증 도구다. “배포 전에 시험한다”는 원칙이, 데모가 아니라 안전 요건임을 보여준다.

한계 · 유의점 · 의의

• 생성형 레드팀의 양날: LLM이 PoC 악성코드까지 생성한다는 점은 오남용 위험을 내포한다. 격리·통제된 환경과 사용 정책이 전제되지 않으면 안전성이 성립하지 않는다(논문도 검증·집행 분리로 이를 겨냥한다).
• 범위 편중 가능성: 실제 샘플 150개가 키로거·인포스틸러·랜섬웨어에 집중돼 있어, 다른 계열(예: 루트킷·부트킷·펌웨어 임플란트)로의 일반화는 미지다.
• 기만의 역설: 기만은 공격자를 끌어들이는 만큼 노출된 공격면을 늘릴 수 있다. 오케스트레이션 자체가 새로운 실패점이 될 여지도 있다.
• 의의: 이 논문은 LLM 보안 자동화를 “탐지·요약·분류”에서 “능동 방어 오케스트레이션”으로 확장한다. 그리고 그 확장의 안전 조건을 — RAG 근거 + 배포 전 검증 + 런타임 결정론 — 이라는 구체적 아키텍처로 제시했다는 점이 진짜 기여다.

출처

• 논문 원문(arXiv:2610.12415v1, cs.CR, 2026-10-08 제출 · IEEE TPS-ISA 2026 게재): arxiv.org/abs/2610.12415 · PDF
• 함께 읽기 — AI·LLM 보안 계보: 2026-10-06 Does AI Help Cyber Attackers or Defenders? — AI의 공격·방어 능력을 분리 측정 · 2026-10-03 The Innocent Courier (LLMLeak) — LLM 도구를 통한 측면 유출 · 2026-10-04 The Achilles' Heel of Partial Reconfiguration — FPGA 비트스트림 암호화 광학 부채널
• 함께 읽기 — 악성코드·능동 방어 계보: 2026-09-22 Flame (2012) — MD5 충돌로 MS 인증서를 위조한 스파이 플랫폼 · 2026-09-29 Zeus / Zbot — 브라우저 안에서 계좌를 바꾼 뱅킹 트로이목마 · 2026-10-08 XZ Utils 백도어 (CVE-2024-3094)