자율주행 리서치 - DiffusionDrive: 실시간 End-to-End 주행을 연 트렁케이티드 디퓨전 (CVPR 2025 Highlight)

주제 정보

핵심 내용

DiffusionDrive는 자율주행의 행동 계획(action planning)을 디퓨전(diffusion) 생성 모델로 풀어내는 End-to-End 주행 연구다. 로보틱스에서 디퓨전 폴리시가 다중 모드(multi-modal) 행동 분포를 모델링하는 데 강력하다는 점에 주목했지만, 기존 디퓨전 폴리시는 수십~수백 회의 denoising 반복이 필요해 동적·개방적 도로 장면에서는 실시간 주행이 불가능했다. DiffusionDrive는 여기에 트렁케이티드 디퓨전 폴리시(truncated diffusion policy)를 제안한다 — 미리 얻은 다중 모드 앵커(prior anchors)를 사전 분포로 주입하고 디퓨전 스케줄을 잘라내(truncate), 고정 가우시안이 아닌 '앵커드 가우시안 분포'에서 다중 모드 주행 행동 분포로 denoising을 학습시킨다. 그 결과 denoising 스텝을 바닐라 디퓨전 폴리시 대비 10배 줄이고, 추론 시 단 2스텝으로도 고품질·다양한 주행 행동을 생성한다.

• 트렁케이티드 디퓨전 폴리시: 사전 다중 모드 앵커(이전 자율주행 모델이 포착한 행동 모드)를 초기 분포에 넣고 디퓨전 스케줄을 단축 — denoising 반복 10배 감소, 2스텝 추론으로 수렴
• 캐스케이드 디퓨전 디코더: 조건부 장면 컨텍스트(scene context)와의 상호작용을 강화한 계단식 디코더 구조 — BEV 장면 특징과 행동 생성의 정렬 품질 향상
• NAVSIM 신기록: 플래닝 지향 벤치마크 NAVSIM에서 정렬된 ResNet-34 백본만으로 PDMS 88.1 달성 — 별다른 장치 없이 최고 성능
• 실시간 주행 속도: NVIDIA RTX 4090에서 45 FPS — 데스크톱 GPU에서 실시간 추론이 가능함을 입증, 엣지 실장 가능성까지 시사
• 다중 모드 행동 생성: 까다로운 시나리오(차로 변경·추월·유턴 등)에서 다양하고 타당한 후보 궤적을 동시에 생성 — 생성 모델 특유의 행동 다양성 보존
• 오픈소스 완결성: MIT 라이선스로 코드·가중치(Hugging Face) 공개, nuScenes 평가용 릴리스 태그 제공 — 재현·후속 확장 용이

왜 유명한가 / 활용 가치

• CVPR 2025 Highlight: 채택 논문 중 상위 비율에만 주어지는 Highlight로 선정 — 디퓨전 기반 End-to-End 주행의 대표작으로 학계의 집중 조명을 받음
• VAD 팀의 계보 (이 블로그 08-18 VAD 포스트와 직결): 이전에 다룬 VAD(arXiv:2303.12077)와 같은 HUST Xinggang Wang 그룹 + Horizon Robotics 공동 연구 — VAD의 플래닝-지향(planning-oriented) 설계를 생성 모델로 진화시킨 다음 세대
• 디퓨전 폴리시의 실시간화 문제를 구조적으로 해결: 로보틱스 디퓨전 폴리시의 '느린 denoising' 한계를 단순 가속이 아닌 앵커 사전지식 주입으로 돌파 — 생성형 행동 계획의 실차 적용 가능성을 처음으로 입증
• End-to-End 주행의 생성 모델 전환점: 인식-예측-계획을 하나로 묶는 흐름에서 '행동 계획기 = 생성 모델'이 메인이 될 수 있음을 시연 — 이후 생성형·VLA 주행 모델 연구의 학술적 기준점
• 재현·확장 용이한 생태계: 1,481⭐ · 145 forks, MIT 라이선스 + 공개 가중치 — 많은 후속 연구가 베이스라인으로 채택

시사점 및 결론

DiffusionDrive는 '생성 모델로 주행 행동을 생성한다'는 패러다임이 실시간 제약과 만날 수 있음을 보여준 분기점이다. 핵심 통찰은 디퓨전을 단순히 빠르게 만든 것이 아니라, 다중 모드 앵커라는 사전 지식을 초기 분포에 주입하고 스케줄을 잘라내는 구조적 설계로 품질을 유지한 채 10배 경량화를 이뤘다는 점이다. 다만 NAVSIM 같은 오프라인 플래닝 벤치마크는 실제 센서·제어 루프를 포함하지 않아 실차 검증은 추가 과제로 남고, 공개 저장소의 커밋이 2025-12 이후 README 수준으로 잠잠해 '연구용 완결 프로젝트' 성격이 강하다. 그럼에도 CVPR 2025 Highlight라는 학계의 인정과 재현성 높은 오픈소스 덕분에, 디퓨전·생성형 모델 기반 End-to-End 주행 연구를 시작하는 사람들이 가장 먼저 읽고 돌리는 기준점이 되고 있다.

원문: https://arxiv.org/abs/2411.15139 · 저장소: https://github.com/hustvl/DiffusionDrive