🤖 [최신] Black-Box Adversarial Patch Attacks on VLAs via Ancestor VLM Exploitation — 로봇을 뚫으려고 로봇을 살 필요가 없다

논문 정보

한 줄 요약 — '로봇의 정책(policy)을 훔칠 필요가 없다. 그 로봇이 태어난 원본 VLM만 있으면, 한 장의 스티커로 로봇을 멈출 수 있다'

요즘 잘 나가는 로봇(VLA, Vision-Language-Action)은 백지에서 학습되지 않는다. 대부분 공개된 사전학습 VLM(예: Prismatic-7B·PaliGemma-3B)을 파인튜닝해 만든다. 이 논문은 그 평범한 관행이 공유된 공격면이 된다는 것을 보인다. 공격자는 배포된 로봇 모델은 손대지 않고, 그 모델의 공개된 조상 VLM에서만 적대적 패치 하나를 최적화한다. 그 패치를 카메라 화면의 아무 위치(화면의 5%만 차지)에 붙이면, 같은 조상에서 파생된 여러 VLA의 작업 성공률이 절반 가까이 떨어진다(OpenVLA 68.8% → 33.2%). 즉 파인튜닝은 강건성을 함께 물려주지 않는다 — 조상의 취약성을 그대로 상속한다. 흥미로운 반전은 '언제 실패하는가'까지 정량화했다는 점이다. 조상의 표현을 크게 덮어쓰거나, 흐름정합(flow-matching) 방식의 반복 디코더로 액션을 다듬는 VLA(π0.5)는 거의 공격되지 않는다.

"우리는 오직 조상 VLM만 이용해 배포된 VLA를 공격하는 최초의 프레임워크를 제안한다. 공개 VLM을 파인튜닝하는 흔한 관행이, 곧 VLA를 위한 공유된 공급망(supply-chain) 공격면이 된다." — 초록·결론

배경 — 'VLA는 백지에서 학습되지 않는다'는 평범한 사실이 공격면이 된다

• 기존 VLA 공격의 전제는 비현실적이었다: 화이트박스 공격은 피해 VLA의 파라미터·액션 공간에 접근해야 하고, 전이(transfer) 공격은 대리(surrogate) VLA가 필요하다. 실제 배포 환경에서 이런 접근은 거의 불가능하다.
• 핵심 통찰: VLA를 만드는 관행 자체가 공격 지점이다. 공개 VLM을 파인튜닝해 VLA를 만들면, VLA는 조상으로부터 두 가지 능력을 상속한다 — (1) 시각 지각(장면을 충실히 서술하는 능력)과 (2) 명령 조건부 근거화(grounding)(지시문에 비추어 '무엇이 중요한지', 대상 물체·구별 속성·공간 관계를 짚는 능력).
• 왜 상속이 유지되는가: 로봇 파인튜닝 데이터는 VLM의 사전학습 코퍼스보다 훨씬 작고 좁다. 그래서 공유 표현(visual-semantic representation)이 파인튜닝 후에도 상당 부분 살아남는다. → 검증 가능한 가설: "조상 VLM에서 이 두 능력을 깨는 패치는, 파생 VLA의 액션 결정도 깬다."
• 물리적 패치가 가장 현실적인 공격 형태: 카메라 시야에 작은 패치 하나를 붙이는 것만으로 '모델이 무엇을 보는지'를 조작할 수 있다. 산업·가정·UAV 등 물리 환경에 배치되는 로봇에서 이는 곧 안전 문제다.

핵심 1 — 위협 모델: '배포된 VLA는 건드리지 않는다'

• 공격자 능력: 공격자는 VLA가 파인튜닝된 공개 조상 VLM과, 그 VLA 과업을 대표하는 공개 이미지-지시문 데이터셋만 있으면 된다. 피해 VLA 자체에는 질의조차 하지 않는다 — 손대지 않으므로 질의 기반 모니터링에 잡히지 않는다.
• 표적: 로봇 카메라 시야의 임의 위치에 놓인 적대적 패치 하나로, 배치된 VLA가 과업을 실패하게 만드는 것.
• 왜 블랙박스인데도 강력한가: 피해 모델을 모르지만, 그 모델의 절반(조상 표현)을 사실상 알고 있는 셈이기 때문이다. 이 논문의 표현대로 "공개 VLM을 파인튜닝하는 관행이 VLA를 위한 공유 공급망 공격면을 만든다."
• 계보상의 위치: 기존 전이 공격들(EDPA: 인코더 임베딩 정렬 교란 / UPA-RFAS: 시각-텍스트 정렬 교란 + 어텐션 장악 / VLA-Hijack: 팔 자기위치추정 과정 공략)은 대리 VLA가 필요했다. 이 논문은 그 요구를 조상 VLM으로 낮춘 첫 사례다.

핵심 2 — 세 갈래 공격: 상속된 두 능력을 각각, 그리고 함께 깬다

• ① 시각 교란(L_VIS): 프로젝터를 통과해 만들어진 시각 토큰을 직접 왜곡한다. 특정 토큰이 원래 있어야 할 '깨끗한 토큰'에서 얼마나 멀어졌는지를 상대항 + 절대항으로 측정해 벌점을 준다. 요령 — 이미지 레벨이 아니라 토큰 레벨에서 어긋남을 최대화하는 것이 훨씬 더 잘 깬다. 이는 시각 의미 자체를 무너뜨린다.
• ② 명령 근거 억제(L_IGS): 지시문이 요구하는 특정 개념(예: "빨간 컵")에 대응하는 시각적 근거(evidence)를 제거한다. 상대항(깨끗한 근거 점수 대비 하락)과 절대항(목표 백분위 이하로 눌러버리기, 기본 ρ=10)을 softplus로 결합해, 경계 아래에서도 그래디언트가 살아 있게 해 계속 밀어붙인다. → 모델은 "무엇을 보고 있는지"를 지시문에 연결하지 못한다.
• ③ 공동 공격(L_joint): 두 목표를 2단계 커리큘럼으로 통합한다. L_VIS만으로는 명령 채널이 남아 있어 모델이 지시문을 의미적 사전(prior)으로 삼아 장면을 일부 복원하지만, 두 손실을 함께 최적화하면 그 복원 경로까지 막힌다.
• 실험 규모: 패치는 이미지의 5%만 차지하며, 최적화·테스트 모두에서 무작위 위치에 놓인다. Adam으로 3,500 외부 스텝, 배치 B=4, 각 갱신에서 8회 EoT(기하 변형: 전단·회전 / 광도 변형: 밝기·대비·가우시안 노이즈)로 그래디언트를 평균해 물리적 견고성을 준다. 서로 다른 시드로 패치 5개를 최적화해 평균을 보고한다.

핵심 3 — 실측 결과: '조상 패치'가 정상 패치·기존 전이 공격을 모두 앞선다

• 벤치마크: 시뮬레이션 LIBERO(Spatial/Object/Goal/Long 4개 스위트 × 10개 과업 × 50 롤아웃)와 대규모 실세계 데이터셋 BridgeData V2(60,096 궤적). 피해 VLA는 OpenVLA·UniVLA(조상 = Prismatic-7B), π0.5(조상 = PaliGemma-3B).
• OpenVLA(LIBERO 평균, 낮을수록 강한 공격): 무공격 68.75 → 무작위 패치 48.98 · 빈 패치 48.15 → 조상 Prismatic-7B에서 최적화한 제안 기법 Ours-VIS 35.50 / Ours-IGS 41.40 / Ours-Joint 33.20. 기존 전이 공격(EDPA 46.20, UPA-RFAS 41.50)도 앞선다. 어려운 Long 스위트는 49.4 → 13.2로 무너진다.
• UniVLA(LIBERO 평균): 무공격 93.08 → Ours-Joint 45.95(조상 패치), Bridge 데이터 패치로도 46.85. 무작위 67.55·빈 패치 74.35를 크게 밑돈다.
• 처음 보는 영역으로의 전이도 강하다: 패치를 LIBERO에서 최적화해 BridgeData V2 조건에서 시험해도, 그 반대여도 평균이 비슷하게 유지된다 — 즉 공격자는 표적 도메인을 몰라도 공격할 수 있다.
• 교차 구조 전이(Table 2, OpenVLA 기준): 직접 조상 Prismatic-7B → Joint 33.2 / LLaVA-1.5-7B(Llama-2 백본 공유, 시각 인코더는 CLIP ViT-L/14로 다름) → 43.78 / PaliGemma-3B(언어·시각 백본 모두 다름) → 48.73(≈ 무작위 48.98). 언어 백본만 공유하는 것으로는 강한 전이에 충분하지 않다.

핵심 4 — 전이를 결정하는 것: '조상과의 거리', 그리고 정밀 위치추정 과업

• 단조적 규칙: 전이는 대리 모델이 표적 VLA의 계보에서 얼마나 멀어지는가에 따라 감소한다 — 직접 조상(강함) > 부분 중첩 LLaVA(중간) > 무관한 PaliGemma(무작위 수준).
• 과업별 편차: 효과는 정밀한 명령 근거화(instruction-grounded localization)가 필요한 과업에서 최대다. "정확히 어디에 있는 그것을 잡아라"류의 과업이 가장 취약하고, 위치추정 비중이 낮은 과업은 덜 흔들린다.
• 메커니즘 검증: 같은 프레임의 깨끗한 버전과 패치 버전을 넣고 은닉 상태·표현을 비교했다 — 시각 표현의 교란(유사도 0.48 vs 무작위 0.52)이 실제 액션 선택까지 전파됨을 확인. 각 손실 항은 단독으로도 성공률을 낮추지만, 결합이 더 강하다(상보적, 중복 아님).

핵심 5 — 언제 공격이 실패하는가: π0.5가 남긴 두 가지 '면역 조건'

• 반전 사례: π0.5(조상 = PaliGemma-3B)에서는 모든 공격이 무작위 수준으로 붕괴한다. 무공격 96.6 → 무작위 94.6 · 빈 패치 94.4, 제안 기법들은 93.0~93.9에 머문다. 심지어 화이트박스 액션 기반 공격 UADA(OpenVLA에서 최적화)조차 87.7(LIBERO)/82.9(Bridge)로 약하다.
• 조건 ① 표현이 크게 재작성됨: π0.5 학습에서 PaliGemma 3B 파라미터의 상당 부분이 갱신되어, 공유 표현이 조상에서 멀어진다 → 조상 패치가 더 이상 '같은 표현'을 건드리지 못한다.
• 조건 ② 반복적 액션 헤드가 교란을 다듬어냄: π0.5는 별도의 흐름정합(flow-matching) 전문가가 잡음 낀 액션 궤적을 여러 디노이징 스텝에 걸쳐 반복적으로 다듬어 액션을 낸다 → 시각 입력의 섭동이 액션에 도달하기 전에 평활화된다.
• 실무 규칙으로 요약: VLA가 조상의 시각-의미 표현을 보존하고 그것을 직접 읽어 액션을 생성하면 위험 최대, 표현을 크게 재작성하거나 반복형 액션 헤드가 섭동을 씻어내면 위험 급감. → 개발자가 "내 VLA가 취약한가"를 판단하는 구체적 기준.

방어·시사점 — '개별 정책'이 아니라 '조상' 단위로 방어하라

• 방어를 조상 단위로 조직하라: 하나의 패치가 같은 조상에서 파생된 여러 VLA로 전이한다. 따라서 조상별 패치 뱅크 하나가 다수 VLA를 커버하는 공유 레드팀 자산이 되고, 같은 패치를 적대적 학습에도 재사용할 수 있다.
• 질의 기반 탐지는 무용: 공격자는 피해 모델을 건드리지 않으므로, 탐지는 입력 측 또는 로봇 자체에서 나와야 한다. 논문이 제시하는 단서 — 비전 손실이 '토큰별 드리프트'를 최대화한다는 점에서 토큰 레벨 드리프트 트립와이어가 자연스러운 모니터이고, 근거(evidence) 점수 자체를 감시하는 의미 근거 모니터도 후보.
• 공급망 관점: 이는 Log4j·npm 사태와 같은 '공통 하부 의존성' 리스크의 AI판이다. 모두가 같은 공개 VLM을 파인튜닝하면, 그 VLM의 약점이 생태계 전체의 단일 실패점이 된다.
• 로보틱스 안전과의 접점: 이 공격은 물리 세계의 시각 입력을 조작한다 — 2018년 Eykholt의 물리적 적대 패치(정지 표지판 오분류)가 인식 스택을 겨냥했던 것과 같은 계보다. 차이는 표적이 '분류기'에서 '액션을 내는 정책'으로 옮겨갔다는 점, 그리고 조상 상속이라는 구조적 증폭기가 더해졌다는 점이다.

한계 · 유의점 · 의의

• 실험 범위: 시뮬레이션(LIBERO)과 정지 실세계 이미지에서 검증했다 — 실제 물리 로봇에서는 아직 시험하지 않았다. 물리 배치에서의 조명·각도·동작에 따른 성공률은 별도 과제다.
• 조상 가정: 위협 모델은 공격자가 조상 VLM을 안다고 가정한다. 조상이 감춰지면 공격면은 상당히 줄어든다. 또한 전이는 조상-표적의 구조적 거리에 민감해, '아무 패치나 되는' 것은 아니다.
• 왜 중요한가: VLA는 산업·가정·UAV로 빠르게 확산 중이다. 이 논문은 "파인튜닝으로 만든 강건성"이라는 (때로 암묵적인) 가정을 반증하고, 취약한 VLA와 면역인 VLA를 구분하는 규칙을 제시한다. 새 모델을 배포하기 전에 조상 단위로 위협을 평가하라는 실무 메시지다.
• 계보 속의 의미: LLM 보안이 '프롬프트·도구·공급망'으로 확장된 것처럼, 로봇 파운데이션 모델 보안은 이제 '조상 VLM'이라는 상속 경계를 다뤄야 한다. 이후 VLA 강건성 연구가 조상-파생 관계를 위협 모델의 1급 요소로 삼을 가능성이 크다.

출처

• 논문 원문(arXiv:2610.09708v1, cs.CR, 2026-10-07, CC BY 4.0): arxiv.org/abs/2610.09708 · PDF · HTML 본문·표
• 함께 읽기 — 로보틱스·물리 적대 공격 계보: 2026-09-28 Robust Physical-World Attacks (Eykholt, CVPR 2018) — 물리 세계 적대 패치의 원형(정지 표지판 오분류) · 2026-09-04 Alpamayo 1 (NVIDIA, VLA 주행 모델) · 2026-08-14 BrainWAM (VLA + 월드모델)
• 함께 읽기 — AI 보안·공급망: 2026-10-06 Does AI Help Cyber Attackers or Defenders? — AI의 공격·방어 능력을 분리 측정 · 2026-10-03 The Innocent Courier (LLMLeak) — LLM 도구를 통한 측면 유출 · 2026-08-03 SkillJack — 자기진화 에이전트의 지속적 백도어