최신 보안 논문 분석 - Beyond F1: AI 모델 보안 스캐너의 커버리지와 실패 복구 평가

논문 정보

연구 배경

Pickle·PyTorch 등 ML 모델 포맷은 직렬화 과정에서 임의 코드 실행을 허용하는 구조라, 공급망 공격자는 '악성 모델 파일'로 타깃 환경에 발판을 마련한다. 이를 막기 위해 ModelScan, ModelAudit, Fickling 같은 정적 스캐너가 널리 쓰이지만, 기존 평가 지표(F1 등)는 스캐너가 '판정 가능한 판단'을 내린 경우만 측정한다. 스캐너가 분석을 완료하지 못하거나(N/A) 판정을 보류하는 경우는 평가에서 사라져, 실제 배포 환경에서의 유용성을 과대평가하게 된다. 저자들은 판정 정확도(accuracy)와 판정 가용성(availability)을 분리해 측정하는 새로운 평가 체계를 제안한다.

핵심 내용

• 아티팩트 기반 벤치마크: Pickle·PyTorch 중심 합성 코퍼스 170개(145개 스펙시멘 패밀리) 구축 — 135개 패밀리는 이진 보안 정답 보유, 10개는 의도적 변형으로 레이블 없음
• 5가지 상태 구분: non-N/A 커버리지, 분석 완료율, 확정 보안 판정, 비보안 소견, 미지원 결과를 명시적으로 분리해 각 스캐너를 평가
• 결과: 레이블된 패밀리 기준 ModelAudit은 135/135(100%) 확정 판정, Fickling 110(81.5%), ModelScan 67(49.6%) — ModelScan은 판정을 내린 경우에 한해 정밀도·재현율·F1 모두 100%
• 중복성 분석: Fickling은 ModelAudit+ModelScan 조합이 이미 찾은 패밀리 외의 고유 true-positive를 발견하지 못함 — 도구 간 중복이 상당함
• 실패 복구: ModelScan이 분석을 완료하지 못한 악성 패밀리 48개에서 ModelAudit과 Fickling 모두 정답과 일치하는 탐지를 생성 — 도구 조합 시 실패를 상호 보완 가능

보안 시사점

• F1 같은 단일 지표는 스캐너의 '침묵 실패'(판정 없이 넘어가는 경우)를 은폐함 — 보안 도구 평가는 판정 정확도와 판정 가용성을 분리해 보고해야 함
• ModelScan의 높은 조건부 정확도(100%)는 '판정만 내리면 믿을 만하다'는 뜻이지 '모든 악성 파일을 잡는다'는 뜻이 아님 — 커버리지가 낮은 도구 단독 사용은 위험
• 도구 간 탐지 중복이 크므로, 다중 스캐너 도입은 '증분 커버리지' 기준으로 효용을 따져야 하며, 상호 보완적 실패 복구(한 도구의 미완료 분석을 다른 도구가 커버)가 핵심 가치
• ML 모델 공급망 보안 실무에서는 스캐너 단일 의존 대신 다계층 검증(스캐너 조합 + 실행 격리)이 필요함을 실증적으로 뒷받침

결론

이 연구는 ML 아티팩트 보안 스캐너의 평가 패러다임을 '정확도'에서 '가용성+정확도'로 확장한 실증 연구다. 같은 벤치마크에서도 도구별 판정 가용성이 49.6%~100%로 크게 갈리며, 고정밀 도구라도 커버리지가 낮으면 실제 공급망 공격 탐지에서 구멍이 생긴다. 보안 스캐너 도입·평가 시 '맞힌 것'만 보지 말고 '놓친 것(미판정)'을 함께 측정해야 한다는 명확한 교훈을 주는 연구이다.

원문: https://arxiv.org/abs/2608.27424