논문 정보
제목: EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models
저자: Yiting Qu, Ziqing Yang, Chi Cui, Ye Leng, Junjie Chu, Yang Zhang
분야: cs.CR / LLM 보안 (추론 모델 프라이버시)
저자: Yiting Qu, Ziqing Yang, Chi Cui, Ye Leng, Junjie Chu, Yang Zhang
분야: cs.CR / LLM 보안 (추론 모델 프라이버시)
연구 배경
프론티어 상용 추론 모델(LRM)의 숨겨진 사고사슬(CoT)은 학습 데이터와 정렬 과정에서 파생된 고가의 모델 자산으로, 대부분의 공급자가 API 응답에서 제거한 채 "요약된 추론"만 노출한다. 그러나 블랙박스 모델을 상대로 이 숨겨진 CoT를 거의 원문 그대로 추출할 수 있는지에 대한 체계적 연구는 사실상 없었다. 본 논문은 API 상호작용만으로 숨겨진 CoT를 탈취할 수 있음을 최초로 실증한다.
핵심 내용
- 새로운 공격 표면: 도구 호출(tool call) 사이의 "추론 재생 구간(reasoning replay surface)"을 식별 — 도구 사용을 유발하는 프롬프트로 모델이 추론 과정을 출력에 재현하도록 유도
- EchoCoT 공격: API가 반환하는 충실도 신호(fidelity signal)를 활용해 반복적으로 숨겨진 CoT를 추출하는 다단계 공격 파이프라인 구축
- 자동화: LLM 기반 최적화 프레임워크로 데이터셋 전반에 일반화되는 범용 인젝션 경로(universal injection trajectory)를 자동 탐색
- 실험 결과: 오픈소스 LRM에서 최대 66.4%의 근-원문(near-verbatim) 추출 성공 — 토큰 90% 이상 정확 일치, 길이 오차 10% 이내. 프론티어 상용 모델에서도 추론 길이·요약과 정합하는 CoT 대량 추출 확인, Gemini-2.5에서는 32,948토큰 타깃에서 33,463토큰 추출 성공
보안 시사점
- 숨겨진 CoT 추출이 실질적 보안 위험임을 입증 — 추론 과정에는 모델 학습 데이터·내부 가중치의 단서가 포함되어 있어 IP 유출 및 향후 증류(distillation) 공격의 기반이 될 수 있음
- 도구 사용·에이전트 워크플로우가 늘어날수록 공격 표면이 확대됨 — MCP·함수 호출 기반 에이전트 설계 시 추론 출력 재현을 차단하는 경계(boundary) 설계가 필수
- 기존 "CoT 숨기기" 정책(요약만 반환)만으로는 불충분 — 추론 과정에 대한 출력 필터링·모니터링, 추론 길이 정보의 최소 노출, 인젝션 경로 탐지가 함께 필요
결론
EchoCoT는 도구 호출 구간이라는 간과된 표면을 통해 블랙박스 상용 추론 모델의 숨겨진 CoT를 거의 원문 수준으로 추출할 수 있음을 보여준 최초의 체계적 연구다. 오픈소스 모델에서 최대 66.4%, 상용 모델에서 수만 토큰 규모의 추출 성공은 추론 모델의 CoT 자산 보호가 단순 출력 정책이 아닌 아키텍처 수준의 방어를 요구함을 시사한다.