주제 정보
- 유형: 조밀한 BEV(bird's-eye-view) 특징 위에 인지·예측·계획을 얹던 BEV-Centric end-to-end 주행을, 희소 인스턴스(sparse instance) 표현으로 다시 설계한 Sparse-Centric 패러다임의 공식 구현. 이 블로그의 UniAD(08-05·08-12 게시)·VAD·LMDrive·DiffusionDrive와 같은 '계획 지향 end-to-end' 계보에 속하면서, 그 계보의 전제(BEV)를 정면으로 뒤집는다
- 저장소: swc-17/SparseDrive — ⭐1,006 · fork 145 · Python · MIT · 생성 2024-05-29 · 최근 푸시 2026-09-16 · 릴리스 v1.0(2024-06-24)
- 논문: SparseDrive: End-to-End Autonomous Driving via Sparse Scene Representation — ICRA 2025 채택(README News, 2025-03-17) · arXiv 2405.19620(2024-05-30 v1 → 2024-05-31 v2) · 분야 cs.CV
- 저자/소속: Wenchao Sun · Xuewu Lin · Yining Shi · Chuang Zhang · Haoran Wu · Sifa Zheng — Tsinghua University · Horizon Robotics(논문 표기)
- 인용: OpenAlex 기준 55회(ICRA 2025 정식판 레코드, 2025) — 이번 실행에서 Semantic Scholar가 계속 429를 반환해 OpenAlex 수치로 대체했다(arXiv 프리프린트 레코드는 별도 1회)
- 라이선스: 코드 MIT(LICENSE 파일 확인) — 논문·데이터셋이 아니라 순수 코드 공개. 후속 SparseDriveV2는 Apache-2.0
- 최근 커밋: 2026-09-16 "Fix large-batch deformable aggregation indexing"(PR #133) · 2026-09-15 "Fix large-batch deformable aggregation indexing" · 2026-04-01 README 갱신 — 릴리스(v1.0, 2024-06) 이후에도 버그픽스가 이어지는 유지보수 단계
- 재현 설정: SparseDrive-S = ResNet50 · 입력 256×704 / SparseDrive-B = ResNet101 · 입력 512×1408 · 학습 하드웨어 8×RTX 4090 24GB · 벤치마크 nuScenes val(1,000 장면 × 약 20초)
- 함께 읽기: SparseDriveV2: Scoring is All You Need for End-to-End Autonomous Driving — arXiv 2603.29163(2026-03-31 제출), 저장소 swc-17/SparseDriveV2 ⭐257 · Apache-2.0 · 생성 2026-03-10 — 같은 팀이 '점수화(scoring)'를 축으로 확장한 후속작
핵심 내용
출발점은 진단이다. end-to-end 주행은 모듈식 파이프라인의 정보 손실·오차 누적을 없애는 대신, 성능과 효율, 특히 '계획의 안전'에서 아직 만족스럽지 못하다. 논문은 원인을 두 가지로 지목한다 — (1) BEV 특징이 계산적으로 비싸고, (2) 예측과 계획의 설계가 너무 단순하다(예측은 다중 모드인데 계획은 결정론적으로 한 개 궤적만 낸다). SparseDrive는 여기서 표현을 희소하게, 과제 설계를 예측과 대칭으로 바꾸는 것을 답으로 내놓는다.
- 두 축 구조: ① Symmetric Sparse Perception — 하나의 인스턴스를 '디커플드 인스턴스 특징 + 기하 앵커(geometric anchor)'로 표현하고, 검출·추적·온라인 매핑을 대칭적(symmetric) 단일 구조로 통합해 장면 전체를 완전 희소 표현으로 학습한다. ② Parallel Motion Planner — ego 인스턴스 초기화로 의미·기하를 반영한 ego 표현을 만들고, 주변 에이전트와 함께 예측과 계획을 동시에(병렬로) 수행해 모든 참여자의 다중 모드 궤적을 낸다.
- 계획 선택 전략: 다중 모드 궤적 제안 중에서 hierarchical planning selection + collision-aware rescore로 최종 궤적을 고른다. 후처리 최적화(post-optimization)로 안전을 사후 보정하던 기존 방식과 달리, 이 리스코어 모듈은 충돌률을 0.12% → 0.08%로 낮추면서 L2 증가는 무시할 수준이었다(논문 Tab. 5). 플래닝 모드 수는 6개에서 포화.
- 인지 성능(nuScenes val): 검출 mAP 49.6% · NDS 58.8% — UniAD(38.0% / 49.8%) 대비 +11.6% mAP, +9.0% NDS. 추적 AMOTA 50.1%·ID 스위치 632로 UniAD 대비 AMOTA +14.2%, ID 스위치 30.2% 감소. 온라인 매핑 mAP 56.2%로 VAD 대비 +8.6%.
- 계획 성능(nuScenes val, 낮을수록 좋음): 평균 L2 0.58m(UniAD† 0.73m · VAD† 0.72m) · 평균 충돌률 0.06%(UniAD† 0.61% · VAD† 0.21%) — 논문 요약 기준 평균 L2 19.4% 감소, 충돌률 71.4% 감소.
- 효율(Tab. 3): SparseDrive-S는 학습 20시간(18+2)·추론 9.0 FPS로, UniAD의 144시간(48+96)·1.8 FPS 대비 학습 7.2배·추론 5.0배 빠르다. 파라미터 85.9M(UniAD 125.0M), FLOPs 192G(1,709G), 추론 메모리 1,294M(2,451M). 단, UniAD 수치는 A100 기준이고 SparseDrive 수치는 RTX 4090 기준이라는 조건 차이가 논문에 명시돼 있다(그만큼 '현실적 예산'에서 도는 것이 이 논문의 논점이다).
- ablation이 말해주는 것: ego 인스턴스의 의미·기하 정보를 빼면 L2와 충돌률이 모두 나빠졌고, 계획을 결정론적으로(궤적 1개) 바꾸면 충돌률이 가장 높아졌다. 에이전트-시간 cross-attention을 제거하면 L2가 0.77m까지 악화 — 세 가지 설계가 각각 '성능'과 '안전'에 따로 기여한다는 증거다.
- 손실·학습: 검출·맵·모션·계획·뎁스 손실을 하나로 묶어(end-to-end) 학습하고, S는 ResNet50/256×704, B는 ResNet101/512×1408 구성으로만 차이를 둔다.
왜 유명한가 / 활용 가치
- 패러다임을 뒤집은 이름값: UniAD(08-05·08-12 게시)가 정립한 '조밀 BEV 중심' 계보에 대해, SparseDrive는 'Sparse-Centric'이라는 정반대 명제를 세우고 그것이 성능·효율·안전에서 동시에 이긴다는 것을 수치로 보였다. 이후 이 계보를 다루는 논문들이 'BEV-Centric vs Sparse-Centric' 구도를 비교 축으로 삼는다.
- 안전 지표를 정면으로 끌어내림: end-to-end 주행의 최대 약점인 충돌률을 0.61% → 0.06%(요약 기준 71.4% 감소)로 낮췄다. '정확도는 올랐는데 안전은 그대로'라는 비판을 정면 반박하는 결과다.
- 현실적 예산에서 재현: A100 8장이 필요한 무거운 베이스라인과 달리, RTX 4090 8장으로 학습하고 1장으로 9 FPS 추론한다. 개인·랩 단위 재현이 가능한 효율이 채택률을 밀어올린다.
- 살아있는 코드베이스: v1.0 릴리스(2024-06) 후에도 2026-09 커밋이 올라오는 유지보수 단계이고, 2026-03 SparseDriveV2('Scoring is All You Need')로 계보가 확장됐다 — 연구 아이디어를 코드 자산으로 굳혀 후속작까지 낸 드문 사례다.
- MIT 라이선스 + 설정 기반 재현: 상업적 이용 제약이 없고 config 기반 학습·평가 파이프라인을 제공해, 인지(검출·추적·매핑)와 계획을 하나의 저장소에서 함께 실험할 수 있다. 희소 인스턴스 표현은 BEVFormer·DETR3D 계열과 달리 메모리·연산이 인스턴스 수에 비례해 확장된다는 구조적 장점도 있다.
- 인용 규모는 정직하게: OpenAlex 기준 55회 — 2024-05 공개·ICRA 2025 채택으로 이제 막 인용이 붙는 단계다(⭐1,006·fork 145의 관심도는 별개 축). 이 계보의 기준점 UniAD(8,792회)와 비교해 '덜 유명'하지만, 지금 활발히 확장되는 최전선이라는 점에서 가치가 있다.
- 블로그 계보와의 연결: nuPlan(10-05)이 '계획을 어떻게 채점할 것인가'를 세웠다면, SparseDrive는 그 계획 자체를 희소 표현 + 다중 모드 + 충돌 인지 리스코어로 다시 설계한 답이다. 같은 nuScenes 데이터 위에서 UniAD·VAD와 직접 비교된다.
시사점 및 결론
end-to-end 주행의 지난 몇 년은 '무엇을 하나의 신경망에 넣을 것인가'의 역사였고, 그 답은 한동안 조밀한 BEV였다. SparseDrive가 남긴 관찰은 표현 방식이 곧 비용과 안전이라는 것 — 계산 비싼 BEV를 희소 인스턴스로 줄이면 같은 데이터·같은 벤치마크에서 더 정확하고, 더 빠르고, 더 안전해진다. 특히 인상적인 것은 충돌률 0.06%다. 자율주행에서 '평균 오차 몇 cm'는 논문용 숫자지만 충돌률은 곧 사고 확률이며, 이 값을 10분의 1로 낮추는 설계 변경이 학습 7.2배·추론 5배의 효율 이득과 같은 방향에서 일어났다는 점이 이 프로젝트의 핵심 메시지다. 성능·안전·효율이 서로 트레이드오프라는 통념을, 표현을 바꾸면 셋 다 얻을 수 있다는 쪽으로 반박한 셈이다. 2026년 SparseDriveV2가 '점수화'를 축으로 이어지고 있는 것을 보면, 이 계보의 다음 챕터는 '어떻게 표현할 것인가'에서 '어떻게 평가하고 고를 것인가'로 옮겨가는 중이다. 계획의 품질을 채점하는 nuPlan의 문제의식과 정확히 만나는 지점이다.
원문: https://github.com/swc-17/SparseDrive
목록으로 돌아가기