주제 정보
- 유형: 데이터셋 + 경량 시뮬레이터 + 계획 전용 지표를 한 묶음으로 제공하는 '계획(planning) 벤치마크'. 이 블로그의 KITTI·BDD100K·nuScenes·Waymo Open Dataset이 '무엇을 보는가(인지·예측)'를 측정했다면, nuPlan은 '무엇을 결정해야 하는가'를 측정하는 최초의 공개 벤치마크다
- 저장소: motional/nuplan-devkit — ⭐1,038 · fork 219 · Python · Apache-2.0 · 생성 2021-05-27 · 최근 푸시 2025-08-27 · 릴리스 v1.0(2022-10-13) · v1.1(2023-02-15) · v1.2(2023-04-27)
- 논문(초판): nuPlan: A closed-loop ML-based planning benchmark for autonomous vehicles — arXiv 2106.11810(2021-06-22 제출 → 2022-02 v4)
- 논문(정식판): Towards learning-based planning: The nuPlan benchmark for real-world autonomous driving — ICRA 2024(arXiv 2403.04133, camera-ready + supplementary)
- 저자/소속: Holger Caesar · Juraj Kabzan · Kok Seang Tan · Whye Kit Fong · Eric Wolff · Alex Lang · Luke Fletcher · Oscar Beijbom · Sammy Omari — 전원 Motional(nuTonomy → Aptiv 인수 → 현대차·앱티브 합작 JV)
- 데이터: 4개 도시(라스베이거스·보스턴·피츠버그·싱가포르) 1,282시간 실제 주행 · 고품질 자동 라벨 객체 트랙 + 신호등 데이터 · v1.1부터 센서 데이터(nuPlan mini 블롭) 점진 공개
- 인용: Semantic Scholar 700회(arXiv 2106.11810, ICRA 2024 정식판 별도) — 계획 벤치마크 계보의 기준점
- 라이선스: 코드 Apache-2.0(Copyright 2021 Motional, LICENSE.txt 확인) — 데이터셋 자체는 nuScenes.org에서 별도 등록 후 연구용 약관으로 배포
- 함께 읽기: nuScenes(08-24 게시) — 같은 팀(Beijbom·Caesar)의 전작 데이터셋. nuPlan은 그 위에 '계획' 축을 얹은 확장판이고, nuScenes.org가 두 데이터를 함께 유통한다
핵심 내용
인지와 예측은 이미 ML이 손수 만든 규칙을 대체했지만, 그다음 단계인 계획(planning)은 정체돼 있었다. 병목은 알고리즘이 아니라 평가였다 — 기존 벤치마크는 짧은 미래 예측과 오픈루프 L2 오차만 봤고, 이는 장기 계획의 품질을 공정하게 드러내지 못한다. nuPlan은 이 빈칸을 대규모 데이터셋 + 폐루프 시뮬레이터 + 계획 전용 지표 삼종 세트로 채우며, 논문에서 스스로 "세계 최초의 폐루프 ML 기반 플래닝 벤치마크"를 표방한다.
- 1,282시간 · 4개 도시: 라스베이거스·보스턴·피츠버그·싱가포르의 실제 주행 1,282시간을 담았다. 교통 패턴이 크게 다른 대륙·도시를 고른 것 자체가 "다양성 = 일반화의 조건"이라는 설계 철학이다.
- 자동 라벨 객체 트랙 + 신호등: 사람 손 라벨 대신 고품질 자동 라벨로 객체 추적과 신호등 상태를 제공해, 계획에 꼭 필요한 '주변 교통의 의도와 규칙 신호'를 담는다.
- 폐루프 시뮬레이터: 플래너가 낸 행동을 반응형 에이전트(reactive agents)가 있는 경량 시뮬레이터에서 재생한다. 내 차가 잘못 판단하면 주변 차량의 미래까지 달라지는 상호작용을 반영한다 — 오픈루프로는 원리적으로 잡을 수 없는 부분이다.
- 계획 전용 지표: 충돌·주행가능영역/차로 이탈·교통규칙 준수·진행도(progress)·승차감 등 일반 지표와 시나리오별 지표를 결합해 점수화한다. L2 오차 하나로 '좋은 계획'을 판정하지 않는다.
- 시나리오 채굴 · 택소노미: 흔한 상황과 희귀(long-tail) 상황을 데이터에서 체계적으로 채굴·분류해, "어떤 상황에서 왜 틀렸는가"를 진단 가능하게 만든다.
- ML vs 고전 플래너: ICRA 2024 정식판은 다수의 베이스라인을 돌려 학습 기반 플래너와 전통(규칙·최적화) 플래너 사이의 격차를 정량 분석한다 — 계획에서 ML이 아직 어디쯤인지를 숫자로 보여준다.
- 챌린지 생태계: eval.ai의 nuPlan Planning Challenge로 이어져, devkit v1.2 + Docker 제출 컨테이너로 누구나 같은 리더보드에서 겨룬다(README가 제출 이미지·버전 호환성까지 관리).
- devkit 구성: 데이터 로딩·시나리오 필터·플래너 API·폐루프 실행·채점을 모두 담은 오픈소스 파이썬 프레임워크. readthedocs 문서 + 튜토리얼 노트북으로 재현 가능.
왜 유명한가 / 활용 가치
- 최초성: 논문이 직접 "세계 최초의 폐루프 ML 기반 플래닝 벤치마크"를 표방한다. 계획을 폐루프로 공정 평가하는 프로토콜을 처음 제시해, 계획 연구가 '예측 정확도'가 아니라 '결정의 결과'로 겨루도록 판을 바꿨다.
- 인용 700회(S2): 2021년 이후 꾸준히 인용되며, 학습 기반 계획 논문들이 반드시 비교 기준으로 삼는 벤치마크가 됐다.
- 후속 벤치마크의 원형: NAVSIM 등 최신 플래닝·주행 벤치마크가 nuPlan이 정립한 폐루프 원칙과 지표 설계를 계승한다.
- 산업 표준 리더보드: 저자·소속이 Motional(현대차·앱티브 JV)이고 nuScenes.org가 유통하는, 학계와 업계가 함께 쓰는 공용 리더보드다. 단일 기업 내부 지표가 아니라 공개 평가라는 점이 핵심 가치다.
- nuScenes 계보의 확장: 같은 팀의 nuScenes(08-24 게시)로 인지 벤치마크를 세운 뒤, nuPlan으로 '계획' 축을 얹었다 — Motional 연구 라인의 연속성을 그대로 보여준다.
- 재현성과 개방성: Apache-2.0 devkit + readthedocs 문서 + 튜토리얼 노트북 + 공개 챌린지. 코드를 공개해 평가 파이프라인까지 검증 가능하게 만든 드문 사례다.
- 관리 상태는 정직하게: 최근 릴리스는 v1.2(2023-04), 마지막 커밋은 2025-08 — 활발한 신기능 개발보다 안정적 유지 단계다. 유행하는 최신 모델보다 '평가 인프라'로서 오래 쓰이는 것이 이 프로젝트의 성격이다.
시사점 및 결론
자율주행에서 '무엇을 보는가'는 이미 데이터셋(KITTI·BDD100K·nuScenes·Waymo Open)으로 표준화됐지만, '무엇을 결정해야 하는가'는 오래 정량화되지 않았다. nuPlan이 남긴 교훈은 알고리즘보다 평가 프로토콜이다 — 계획의 결과는 시간에 따라 누적되고 주변 참여자와 상호작용하므로, 오픈루프 L2 지표로는 좋은 플래너를 가려낼 수 없다는 것. 이후 UniAD·VAD·DiffusionDrive 같은 end-to-end 플래너와 NAVSIM 계열 벤치마크가 모두 이 폐루프 원칙 위에 서 있다. 인지·예측을 다룬 이 블로그의 앞선 글들이 '센서를 지능으로 바꾸는 일'이었다면, nuPlan은 '지능을 책임 있는 결정으로 바꾸는 일'을 측정 가능하게 만든 퍼즐 조각이다. 좋은 벤치마크는 좋은 알고리즘만큼 드물고, 때로는 더 오래 남는다.
원문: https://github.com/motional/nuplan-devkit
목록으로 돌아가기