🛡️ [클래식] Control-Flow Integrity — '새 코드를 심지 못해도, 이미 있는 코드로 원하는 계산을 시킨다'

논문 정보

한 줄 요약 — "어디로 점프할 수 있는가"를 화이트리스트로 못 박는다

2000년대 초 W⊕X(NX/DEP)가 배포되면서 공격자는 스택·힙에 새 코드를 심는 방식에 제동이 걸렸다. 그가 택한 우회로는 더 교묘했다 — 새 코드를 심는 대신 이미 프로세스 안에 존재하는 코드 조각(gadget)들을 원하는 순서로 엮어 실행하는 것(return-into-libc → ROP). 코드가 실행 가능한 영역에만 있든 말든, 공격자는 제어 흐름(control flow)만 조작하면 원하는 계산을 시킬 수 있었다.

이 논문은 그 지점에서 질문을 바꾼다. "메모리를 어떻게 지킬까"가 아니라, "프로그램의 실행이 원래 컴파일러가 의도한 경로를 벗어나지 않게 강제할 수 있는가". 저자들이 정의한 속성이 Control-Flow Integrity(CFI, 실행 흐름 무결성)다:

"The enforcement of a basic safety property, Control-Flow Integrity (CFI), can prevent such attacks from arbitrarily controlling program behavior." — 논문 초록

핵심은 단순하다. 프로그램을 실행하기 전에 정적 분석으로 control-flow graph(CFG)를 만들고, 실행 중 모든 간접 분기(간접 호출·점프·리턴)가 그 CFG의 유효한 간선만 따라가도록 검사 코드를 심는다. 목적지가 화이트리스트 밖이면 실행을 즉시 중단한다. "어디로든 점프할 수 있다"를 "정해진 곳으로만 점프할 수 있다"로 바꾸는 것 — 이것이 오늘날 모든 CPU에 내장된 완화책의 원형이다.

배경 — W⊕X 이후 남은 빈틈

• 공격의 이동: W⊕X가 "데이터 영역의 코드 실행"을 막자, 공격 기법은 코드 주입(code injection)에서 코드 재사용(code reuse)으로 이동했다. 리턴 주소를 조작해 기존 라이브러리 함수로 점프하는 return-into-libc, 나아가 명령어 몇 바이트짜리 조각을 사슬처럼 잇는 ROP(return-oriented programming)가 등장했다 — ROP는 이 사이트의 2026-09-09 'The Geometry of Innocent Flesh on the Bone' 편에서 다뤘다.
• 기존 완화책의 한계: 스택 카나리(StackGuard 계열)와 ASLR은 각각 휴리스틱·확률적 방어다. 메모리 유출 정보 하나면 ASLR은 무력해지고, 카나리는 리턴 주소가 아닌 다른 간접 분기의 조작을 막지 못한다.
• CFI의 발상 전환: "버그를 없애자"가 아니라 "버그가 있어도 공격자가 임의로 계산을 바꾸지 못하게 하자". 저자들은 이것을 형식적으로 정의 가능한 안전 속성(safety property)으로 세우고, "강력한 적대자(arbitrary memory corruption을 가진 공격자)에 대해서도" 성립함을 논증한다.
• 왜 '무결성'인가: 데이터 무결성(값이 변조되지 않음)과 달리, CFI는 제어 흐름의 무결성을 지킨다. 공격자가 데이터를 아무리 흔들어도, 실행 흐름만은 원래 프로그램의 골격을 벗어나지 못하게 묶는다.

핵심 1 — 원리: 레이블 기반 CFI와 인라인 검사

• CFG 구축: 실행 전(pre-execution) 정적 분석으로 프로그램의 제어 흐름 그래프를 만든다. 노드는 기본 블록(straight-line 명령 묶음), 간선은 "이 분기가 도달할 수 있는 합법적 목적지"다.
• 레이블(label) 부여: 간접 분기가 도달할 수 있는 합법적인 목적지에 고유 ID를 부여한다. 분기 검사는 "대상의 ID가 이 분기가 허용하는 집합에 속하는가"만 본다 — 목적지별 화이트리스트를 두는 셈이다. ID 집합이 커지면 성능을 위해 비트맵·해시 등으로 압축한다.
• 인라인 강제(inlined enforcement): 검사는 참조 모니터(reference monitor)를 각 간접 분기 직전에 기계어로 인라인 삽입(IRM, inlined reference monitors)해 구현한다. 별도 커널·하이퍼바이저 도움 없이, 이진 재작성(binary rewriting)만으로 소스 코드 없이도 적용 가능하다.
• 리턴의 특수성: 리턴 주소는 데이터(스택)에 있고 공격 표적이 되므로, 리턴은 별도의 그림자 호출 스택(shadow call stack)과 대조하는 방식으로 검증한다 — 같은 논문이 이 "보호된 그림자 스택"을 CFI 위에 구현해 보인다.
• 부산물은 확장성: 초록이 강조하듯 CFI는 그 자체로 끝이 아니라 더 많은 보안 정책을 얹을 수 있는 토대다. 논문은 그림자 호출 스택과 메모리 영역 접근 제어(memory-region access control)라는 두 정책을 효율적으로 구현해 이 확장성을 입증한다.

핵심 2 — 상용 하드웨어에서 '실용적'으로: 이진 재작성 구현

• 실용성 증명: 저자들은 아이디어를 이론에 머물지 않고, 상용 아키텍처(x86, Itanium 등)에서 소프트웨어 이진 재작성으로 동작하는 구현을 내놨다. 기존 소프트웨어와 호환되며, 소스가 없어도 바이너리에 적용할 수 있다는 점이 채택의 관건이었다.
• 형식 보증: CFI 속성이 성립함을 형식(formal)적으로 논증한다. "공격자가 메모리 버그로 임의 제어를 얻어도, CFG 밖으로는 나갈 수 없다"는 진술이 증명 대상이 된다.
• 가용성과 비용: 검사는 정밀도(precision)와 성능(memory/runtime overhead) 사이의 트레이드오프를 갖는다. 논문의 핵심 주장은 "이 오버헤드가 배포를 막을 만큼 크지 않다"는 것 — 이후 20년의 산업 채택이 그 판단을 확인해 준다.

핵심 3 — 무엇을 보장하고, 무엇을 보장하지 '않는가'

• 보장하는 것: 간접 분기의 목적지를 CFG의 유효 간선으로 제한함으로써, 코드 주입과 코드 재사용(ROP/return-into-libc)을 통한 임의 제어 흐름 탈취를 원리적으로 막는다. 공격자가 어떤 gadget을 골라도, CFG상 그리로 가는 간선이 없으면 실행이 끊긴다.
• 보장하지 '않는' 것: CFI는 만능이 아니다. CFG 안에 이미 합법적으로 존재하는 전이를 악용한 공격은 막지 못한다. 예컨대 프로그램이 이미 execve를 호출하는 경로를 갖고 있다면, 그 호출을 유발하는 것은 CFG상 유효한 간선이므로 "허용"된다. 저자들 스스로 "CFI는 강력하지만 완전하지 않다(a strong, but not complete, defense)"고 프레이밍한다.
• 관점의 정리: CFI는 "임의 코드 실행(arbitrary code execution)"의 문을 닫지만, "프로그램의 정상 기능을 무기로 삼는 행위"까지는 닫지 못한다. 이 구분은 이후 모든 완화책 논의의 기준선이 됐다.
• 스코프 밖: 값 자체를 변조하는 데이터 지향 공격(data-oriented attacks)·제어 데이터 무결성(CDI) 문제는 CFI의 범위가 아니다 — 별도의 계보(데이터 흐름 무결성·DFI, 제어 데이터 무결성)가 이를 다룬다.

핵심 4 — 정밀도 vs 성능, 그리고 '우회' 연구의 등장

• 정밀도의 스펙트럼: CFG를 얼마나 촘촘히(간선 하나하나) 검사하느냐에 따라 fine-grained CFI와 coarse-grained CFI로 나뉜다. 정밀할수록 보안은 강하지만 검사 비용과 호환성 제약이 커진다.
• 거친 CFI는 뚫린다: 목적지 집합을 넓게 뭉뚱그린 coarse CFI는 COOP(counterfeit object-oriented programming) 같은 공격으로 우회된다 — 이는 "Out of Control: Overcoming Control-Flow Integrity"(Göktaş·Athanasopoulos·Bos·Portokalidis, IEEE S&P 2014; OpenAlex 기준 361회)가 시연했다.
• 균형점의 탐색: 그래서 실무의 CFI는 "정밀도·성능·호환성" 삼각형에서 실용적 타협점을 찾는 방향으로 진화했다. 원논문이 세운 개념 틀은 그대로, 구현의 최적점만 옮겨간 셈이다.
• 후속 계보: CCFIR·bin-CFI 등 이진 CFI 연구, 컴파일러 기반 CFI, 그리고 결정적으로 하드웨어 지원으로 이어진다.

시사점 — 20년 뒤, 모든 칩에 내장된 아이디어

• Intel CET (Control-flow Enforcement Technology): 간접 분기 추적(IBT)과 그림자 스택(shadow stack)을 프로세서에 내장한 상용 하드웨어 CFI. 논문의 "레이블 검사 + 보호된 그림자 스택"이 실리콘으로 들어간 형태다.
• Windows CFG / XFG, Clang·LLVM -fsanitize=cfi, Android: 운영체제·컴파일러 수준의 CFI가 기본 방어선으로 자리 잡았다. "CFG를 만들고 간접 분기를 검사한다"는 이 논문의 골격이 표준 툴체인에 내장됐다.
• 공격-방어의 축: 2026-09-09 ROP가 "W⊕X를 무너뜨린 공격"이었다면, 이 논문은 "그 공격에 대한 원리적 답"이다. 두 편을 나란히 읽으면 코드 재사용 공격사(史)가 한눈에 잡힌다.
• 완전한 방어는 없다는 교훈: CFI가 코드 재사용을 조이자, 공격자는 데이터 지향 공격과 사이드채널로 이동했다 — 캐시·전력·마이크로아키텍처를 파고드는 Spectre(2026-10-14), Rowhammer(2026-09-11)가 그 축이다. 한 계층의 완화는 늘 다음 계층의 공격을 부른다.
• 연구 방법론으로서의 가치: 이 논문은 "새 버그를 찾는" 대신 "공격자에게 남는 자유도를 구조적으로 줄이는" 완화책 연구의 교과서적 예다. 오늘날 모든 시스템 보안 논문이 인용하는 문제 설정("무엇을 보장하는가 / 무엇을 보장하지 않는가")을 정립했다.

한계 · 유의점

• 정밀도-성능 트레이드오프는 영구적: coarse CFI는 실측으로 우회됐고(COOP), fine CFI는 비용·호환성 문제가 남는다. "CFI를 켰으니 안전"이라는 단정은 이 논문의 정신에 어긋난다 — 어떤 정밀도의 CFI인가가 항상 문제다.
• 동적·유연한 제어 흐름과의 충돌: JIT, 콜백, 예외 처리, 가상 디스패치처럼 목적지가 컴파일 시점에 고정되지 않는 코드는 CFG를 보수적으로 넓힐 수밖에 없어 정밀도가 떨어진다.
• 데이터 무결성은 안 다룬다: CFI는 제어 흐름만 지킨다. 값·포인터 데이터의 무결성(데이터 지향 공격 방어)은 별개 연구 영역이다.
• 시대적 맥락: 원판(2005)의 구현·오버헤드 측정은 당시 x86·Itanium 상용 하드웨어 기준이다. 오늘날 Intel CET 같은 하드웨어 지원으로 오버헤드는 크게 줄었지만, "완전한 CFI"와 그 검증은 여전히 활발한 연구 주제다.
• 인용 수 출처: OpenAlex 1,032회(CCS 2005 원판)·795회(TISSEC 2009 확장판)는 조회 시점 기준이며, 두 판본이 각각 집계되어 세는 방식에 따라 달라질 수 있다. S2는 645회(CCS 2005).

출처

• 논문 원문: Martín Abadi, Mihai Budiu, Úlfar Erlingsson, Jay Ligatti, Control-Flow Integrity: Principles, Implementations, and Applications, ACM CCS 2005 — ACM DL · DOI 10.1145/1102120.1102165
• 확장 저널판: Control-flow integrity principles, implementations, and applications, ACM TISSEC 14(1), 2009 — ACM DL · DOI 10.1145/1609956.1609960
• 인용 수: OpenAlex (CCS 2005) · OpenAlex (TISSEC 2009)
• 함께 읽기:
  • 2026-09-09 The Geometry of Innocent Flesh on the Bone — W⊕X를 무너뜨린 return-oriented programming: CFI가 답하려 한 바로 그 공격.
  • 2026-10-14 Spectre — 추측 실행을 겨눈 마이크로아키텍처 부채널: 코드 재사용을 조이자 공격자가 옮겨간 다음 계층(하드웨어).
  • 2026-09-11 Rowhammer — 메모리를 건드리지 않고 비트를 뒤집은 DRAM 교란: 소프트웨어 완화책 바깥의 물리 계층 위협.
  • 2026-09-07 Meltdown — 커널 메모리를 읽어낸 추측 실행 부채널: Spectre와 함께 프리프린트로 공개된 자매 논문.