🕵️ [클래식] Insertion, Evasion, and Denial of Service — '패킷을 다 본다'는 착각: 상용 IDS 4종을 전부 무력화한 침입 탐지 회피의 고전

논문 정보

한 줄 요약 — "보이는 것"과 "실제로 일어난 일"은 다르다

1998년, 스니퍼로 패킷을 엿보며 공격을 탐지하던 모든 상용 네트워크 IDS가 근본적으로 속을 수밖에 없다는 사실을 정면으로 증명한 논문이다. 저자들은 "IDS가 보는 바이트 스트림"과 "목적지 호스트가 실제로 조립·처리하는 바이트 스트림"이 다르게 만들 수 있음을 보이고, 이를 악용하는 삽입(insertion)·회피(evasion)·서비스 거부(DoS) 세 가지 공격 부류를 정리했다. 그리고 시장 점유율 최상위 상용 IDS 4종을 직접 시험해 네 제품 모두 각 공격에 취약함을 실증했다. 오늘날 모든 IDS/IPS가 '스트림 재조립(normalization)'과 '타깃 기반(target-based)' 분석을 갖추게 만든 출발점이다.

"현재 존재하는 모든 네트워크 IDS는 수동 프로토콜 분석(passive protocol analysis)이라는 근본적으로 결함 있는 수집 방식에 의존한다." — 논문 초록. 그리고 논문은 이 한 문장을 4개 상용 제품으로 실증했다.

배경 — '서명 기반 IDS'의 황금기와 그 안의 균열

• 당시 IDS의 작동 방식: 1990년대 말 상용 네트워크 IDS는 프로미스큐어스 모드 스니퍼로 선로를 지나가는 모든 패킷을 복사해, TCP 스트림을 재조립한 뒤 "GET /cgi-bin/phf?" 같은 공격 서명(signature) 문자열을 찾아내는 방식이었다.
• 수동적(passive)이라 안전하다는 믿음: 스니퍼는 네트워크에 아무 흔적도 남기지 않으니 탐지하기 어렵고, 성능 저하도 없다는 것이 장점으로 광고됐다.
• 논문이 세운 2가지 근본 문제: ① 선로 위 정보만으로는 부족하다 — 패킷만 봐서는 목적지 호스트가 그 패킷을 실제로 받아들였는지 알 수 없다. ② 수동적이라는 점 때문에 시스템이 'fail-open'이다 — IDS 하나가 뚫리거나 죽어도 네트워크 자체는 계속 돌아간다는 성질이 곧 "IDS가 눈을 감아도 아무도 모른다"는 뜻이 된다.
• 핵심 통찰: IDS는 목적지 OS의 TCP/IP 스택을 그대로 시뮬레이션해야 하는데, 세상의 스택은 제각각이다. 이 틈이 곧 공격면이 된다.

핵심 1 — 삽입(Insertion): IDS가 받아들이고 종단은 버리는 패킷

IDS가 종단 호스트는 거부할 패킷을 유효하다고 받아들이면, 공격자는 그 패킷을 IDS에만 "끼워 넣어" 재조립 결과를 조작할 수 있다. IDS는 자기 스트림에 없던 글자를 더 보게 된다.

• 문자열 뒤집기: 공격자가 GET /cgi-bin/phf?를 보내면 IDS는 phf를 찾아 공격으로 판정한다. 그런데 종단은 버릴 패킷에 leasedontdetectt·is·orme를 실어 보내면, IDS가 재조립한 문자열은 GET /cgi-bin/pleasedontdetectthisforme?가 되어 서명이 사라진다.
• 그림 4의 예: 공격자의 ATTACK 스트림 중 종단이 거부할 X 하나를 IDS만 받아들이면 — 종단은 ATTACK을, IDS는 ATXTACK을 본다. 같은 세션, 다른 세계.
• 일반 조건: 삽입은 "IDS가 어떤 패킷을 종단보다 관대하게 처리할 때" 언제든 성립한다. 그래서 "IDS를 최대한 엄격하게 만들면 되지 않나?"라는 발상은 — 곧바로 다음 문제를 낳는다.

핵심 2 — 회피(Evasion): 종단은 받아들이고 IDS는 버리는 패킷

이번엔 반대다. 종단이 받아들이는 패킷을 IDS가 (너무 엄격한 탓에) 거부하면, 그 안에 담긴 정보가 IDS의 시야에서 통째로 사라진다. 논문은 회피를 "가장 악용하기 쉽고, IDS 정확성에 가장 치명적"이라고 평한다.

• 서명 지우기: GET /cgi-bin/phf?의 일부 글자를 IDS가 버릴 패킷에 실으면, IDS가 보는 요청은 GET /gin/f처럼 의미 없는 문자열이 된다. 공격은 그대로 성립하는데 시그니처는 아예 보이지 않는다.
• 그림 5의 예: 종단이 받아들이는 A를 IDS가 놓치면 — 종단은 ATTACK을, IDS는 ATTCK을 본다.
• 왜 치명적인가: "전체 세션이 IDS를 회피하는 패킷만으로 구성"될 수 있고, 그러면 가장 노골적인 공격이 아무리 정교한 분석 엔진의 코앞에서도 그냥 지나간다.

삽입과 회피는 대칭이다 — IDS를 관대하게 만들면 삽입에, 엄격하게 만들면 회피에 뚫린다. 이 딜레마를 푸는 유일한 방법은 "종단이 실제로 무엇을 받아들이는지"를 아는 것이며, 이것이 논문이 목적지 OS·토폴로지 정보를 요구한 이유다.

핵심 3 — 재조립의 늪: IP 단편화 · TCP 세그먼트 · TCB 동기화

서명 매칭 이전에, IDS는 흩어진 패킷을 원래 순서대로 재조립(reassembly)해야 한다. 여기가 삽입·회피가 가장 잘 먹히는 지점이다.

• IP 단편화(fragmentation): 패킷을 여러 조각으로 쪼개 보내면 IDS는 오프셋을 보고 원래 패킷을 복원해야 한다. 조각이 서로 겹치도록(overlapping) 보내면, 겹친 부분을 어떻게 처리하느냐에 따라 재조립 결과가 달라진다. 논문은 이것이 목적지 OS마다 다르다는 점을 지적한다.
• TCP 시퀀스 번호: TCP 스트림은 시퀀스 번호로 순서를 맞춘다. 공격자는 종단이 거부할 패킷으로 수백 개의 시퀀스 번호를 소비하거나, 이전 데이터를 겹쳐 덮어쓰거나(overlapping segments), 스트림을 탈동기화(desynchronization)시켜 IDS가 재조립을 완전히 포기하게 만들 수 있다.
• TCB 3단계 공격면: IDS는 연결마다 TCP 제어 블록(TCB)을 유지한다. 논문은 공격 지점을 ① TCB 생성 → ② 스트림 재조립 → ③ TCB 해제로 나눠, 각 단계가 어떻게 뒤틀리는지 체계화했다.
• PAWS·옵션·RST: 목적지가 PAWS(오래된 타임스탬프 패킷을 조용히 폐기)를 구현했거나, 특정 TCP 옵션을 거부하거나, RST의 시퀀스 번호를 검사하지 않는 구현이면 — 그 차이 전부가 삽입·회피의 구멍이 된다.

핵심 4 — 모호성(Ambiguity): 정답은 '목적지 OS'가 쥐고 있다

논문의 가장 개념적인 기여는 "중요한 결론을 선로 정보만으로 내릴 수 없는 상태"를 모호성으로 정의하고, 그 목록을 제시한 것이다. 모호성은 IDS가 토폴로지/설정/OS·버전이라는 2차 정보를 가질 때만 풀린다.

필요한 정보	모호성 (요지)
네트워크 토폴로지	IP TTL이 목적지까지 가기엔 너무 작을 수 있음 (IDS까지만 도달하는 패킷)
네트워크 토폴로지	패킷이 하위 링크에선 단편화되어야 할 만큼 클 수 있음 (DF 비트)
목적지 설정	목적지가 소스 라우팅 패킷을 폐기하도록 설정됐을 수 있음
목적지 OS	부분 수신된 단편을 OS별로 다른 타임아웃으로 버릴 수 있음
목적지 OS	겹치는 단편을 OS마다 다르게 재조립함
목적지 OS	특정 TCP 옵션을 받지 않거나, PAWS로 구식 타임스탬프를 조용히 폐기
목적지 OS	충돌하는 TCP 세그먼트를 OS마다 다르게 해결
목적지 OS	RST 메시지의 시퀀스 번호를 검사하지 않는 호스트가 있음

저자들은 4.4BSD 커널(FreeBSD 2.2) 소스에서 패킷을 폐기하는 모든 지점을 뽑아, IDS와 이 지점들이 어긋나는 곳을 잠재적 삽입·회피 구멍으로 삼는 방법론을 썼다. "IDS는 자기가 감시하는 모든 호스트의 동작을 시뮬레이션해야 한다"는 부담이 여기서 나온다.

핵심 5 — 세 번째 축: 자원 고갈과 '반응형' IDS의 역습

• 자원 고갈(Resource Exhaustion): IDS는 종단과 달리 모두의 패킷을 처리하므로 구조적으로 더 취약하다. 공격자는 ① CPU(가장 작은 IP 단편을 대량으로 보내 O(n) 단편 리스트 조회를 최악 조건으로 몰아넣기) ② 메모리(가짜 연결 폭주로 TCB·재조립 큐 고갈) ③ 디스크(무의미한 이벤트 로그로 저장공간 소진) ④ 대역폭(IDS에만 향하는 트래픽으로 인터페이스 포화) 중 하나로 IDS를 눈멀게 만든다.
• 반응형 IDS의 역습: 많은 상용 IDS는 "공격 탐지 → 라우터 필터로 해당 IP 차단(shunning)" 기능을 자랑했다. 그러나 IP 출처는 위조 가능하다. 공격자가 중요 사이트(예: DNS 서버)에서 온 것처럼 공격 패킷을 위조하면, IDS가 그 사이트로 가는 정상 트래픽을 스스로 차단해 버린다 — 보안 장비가 서비스 거부의 도구로 전락한다.
• 논문의 권고: IDS를 인터넷 경계에서 "스푸핑 방지(spoof protection) 필터" 뒤에 두고, 위조가 쉬운 공격(ping flood, UDP 공격 등)에는 자동 반응하지 말 것. 그리고 "IPS가 성공적인 공격을 기록하는 순간, 그 이후의 공격은 IPS의 시야 밖에서 일어나고 있다고 가정하라"고 경고한다.

실증 — 상용 IDS 4종, 전부 무력화되다

논문은 스크립트화된 테스트 스위트(baseline-1/2, frag-1~7, tcp-1~9, tcbc-1~3, tcbt-1/2, insert-1~3, evade-1)를 만들어, 시장 점유율 최상위 4개 제품을 시험했다. 결과는 명확했다 — 어떤 제품도 모든 공격을 막지 못했고, 모두 완전히 우회 가능했다.

제품 (시험 버전)	드러난 치명적 결함
ISS RealSecure (1.0.97.224, WinNT)	IP 단편화 재조립을 전혀 못 함(모든 패킷을 단편화하면 완전 우회). TCP 체크섬·ACK 비트 미검증. 중복 세그먼트·RST·SYN 처리 미흡으로 탈동기화 가능.
WheelGroup NetRanger (1.2.2)	단편화 미처리(단편화만으로 우회). 다른 데이터의 중복 시퀀스 세그먼트로 우회됨. SYN 패킷 내 데이터를 탐지하지 못함. TCP 체크섬 미검증.
AbirNet SessionWall-3 (v1.2.0.26, WinNT)	단편화 미처리. 가짜 SYN 주입으로 탈동기화. SYN 패킷 내 데이터 미탐지. 겹치는 TCP 세그먼트를 4.4BSD와 다르게 재조립 → 회피 취약.
NFR (beta-2)	단편화된 UDP 패킷 재조립은 가능했지만, 단편화된 TCP 스트림에서는 서명 매칭 실패. 모든 삽입 공격에 취약(IP/TCP 체크섬 미검증, SYN 비트 없이 데이터 수용).

저자들은 "제품별 통과/실패 개수는 품질 순위가 아니다"라고 선을 긋지만, 핵심 결론은 흔들리지 않는다 — "네트워크 IDS는 근본적으로 재설계되기 전까지 완전히 신뢰할 수 없다."

왜 유명한가 — IDS 설계를 바꾼 한 편

• 동시대의 독립 발견: 각주에 밝혔듯, LBNL의 Vern Paxson도 비슷한 시기(USENIX Security 1998, "Bro: A System for Detecting Network Intruders in Real-Time")에 같은 부류의 공격을 발표했다. 이 문제는 한 사람의 발견이 아니라 패러다임의 균열이었다.
• 도구로 구현: 이후 Dug Song의 fragroute(2000)가 이 논문의 삽입·회피 기법들을 실제 도구로 구현하면서, "IDS 회피"가 재현 가능한 공격 기법으로 자리 잡았다.
• 방어의 전환점: Mark Handley·Christian Kreibich·Vern Paxson의 "Network Intrusion Detection: Evasion, Traffic Normalization, and End-to-End Protocol Semantics"(USENIX Security 2001)가 트래픽 정규화(normalization)를 제안하며 대응했고, Paxson의 능동 매핑(active mapping)은 "목적지 OS를 조회해 모호성을 해소한다"는 이 논문의 처방을 그대로 구현했다.
• 오늘의 표준이 된 유산: Snort의 스트림 재조립(stream4/stream5), 타깃 기반(target-based) IDS, Suricata·Zeek의 정규화 계층은 모두 "IDS가 본 스트림"과 "호스트가 본 스트림"을 일치시키려는 이 논문의 문제의식 위에 서 있다.
• 인용: OpenAlex 기준 655회. 절대 수치는 크지 않지만, 네트워크 보안 실무·IDS/IPS 설계 문헌에서 반복 인용되는 '고전 중의 고전'이다.

한계와 주의

• 시대적 조건: 1998년의 10/100Mbps 스위치드 이더넷과 단일 노드 스니퍼를 전제로 한다. 이후 하드웨어 가속·전용 ASIC·대용량 스트림 처리가 등장하며 자원 고갈 축의 난이도는 크게 달라졌다.
• 목적지 특정 문제: 논문 스스로 "일부 모호성은 명확한 해법이 없다"고 인정한다. 토폴로지·OS 정보를 완벽히 안다는 전제 자체가 실전에서는 비용이 든다 — 정규화는 편익과 성능·유연성의 트레이드오프다.
• TLS 시대의 도래: 논문은 암호화 트래픽 분석 비용을 미래 문제로 언급했는데, 오늘날 트래픽 대부분이 암호화되면서 "재조립 후 서명 매칭"이라는 전제 자체가 흔들렸다. 대신 메타데이터·행위 분석으로 무게중심이 이동했다.
• 'fail-open'은 여전히 유효한 경고: IPS가 뚫리면 그 사실조차 탐지되지 않을 수 있다는 통찰은, 오늘의 EDR/XDR·제로트러스트 논의에도 그대로 적용된다.

2026년 실무 시사점

• "IDS가 본 것"과 "호스트가 처리한 것"은 다를 수 있다는 전제를 유지하라. 경계 장비의 탐지 결과는 정규화된(normalized) 스트림 위에서만 신뢰할 수 있다. 재조립·정규화 옵션이 꺼진 센서는 이 논문이 28년 전에 뚫은 그대로 뚫린다.
• 경계 장비의 '자동 차단'은 위조 가능성을 전제로 설계하라. 위조가 쉬운 신호에 대한 자동 반응은 이 논문이 지적한 '반응형 IDS의 역습'을 재현한다. 스푸핑 방지(BCP38/uRPF) 필터와 반응 예외 목록을 먼저 점검하라.
• 모호성은 여전히 공격면이다. 파서 차이(parser differential)로 인한 WAF/프록시 우회, HTTP 요청 스머글링, IP 단편화 회피는 이 논문의 현대적 후예다. "우리 스택과 상대 스택이 같은 바이트를 같은 의미로 읽는가"를 검증하는 것이 곧 방어다.
• 탐지 실패는 성능 한계에서도 온다. 가짜 TCB 폭주로 센서 메모리를 고갈시키는 공격은 여전히 유효하다. 센서의 상태 테이블 상한·드롭률·오버플로를 모니터링 지표로 삼아라 — "조용한 센서"가 곧 안전은 아니다.

출처

• 논문 원문 (HTML): Insertion, Evasion, and Denial of Service: Eluding Network Intrusion Detection — insecure.org
• 논문 PDF: UC Berkeley CS161 · ICIR
• 인용 수: OpenAlex W1490025813 기준 655회 (2026-10-02 조회)
• 배경 · 용어: Wikipedia — Intrusion detection system · IP fragmentation
• 함께 읽기 — 네트워크·IDS 계보: 2026-09-14 Security Problems in the TCP/IP Protocol Suite(1989, 인터넷 신뢰 가정의 붕괴) · 2026-09-18 Fuzzing(1990, 무작위 입력의 힘) · 2026-08-30 Smashing The Stack For Fun And Profit(1996, 버퍼 오버플로우)