자율주행 리서치 - NAVSIM (University of Tübingen·NVIDIA Research, NeurIPS 2024 D&B / CoRL 2025): '폐루프 없이 폐루프를 채점한다' — 4초 비반응 시뮬레이션 + 3D 가우시안 스플래팅 의사 시뮬레이션으로 폐루프 상관 R²=0.8, 6배 적은 연산 (⭐1,133 · Apache-2.0 · AGC2025 공식 벤치마크)

주제 정보

핵심 내용

엔드투엔드 자율주행 논문이 매달 쏟아지는데, 정작 "누가 더 잘 운전하는가"를 재는 자는 2023년까지 사실상 두 개뿐이었다. 실제 로그와 전문가 궤적의 거리(ADE/FDE)를 재는 오픈루프, 또는 CARLA에서 수천 시간을 돌리는 폐루프. 전자는 싸지만 오차가 누적되는 상황을 못 보고, 후자는 비싸고 도메인 갭이 크다. NAVSIM은 그 사이를 노린다: 실제 데이터를 쓰되, 짧은 구간만 시뮬레이션해서 안전·진행·승차감 지표를 뽑는다.

• v1 메커니즘 — 한 번만 물어보고 4초를 굴린다: 에이전트는 각 씬의 첫 프레임에서만 호출되고, 낸 궤적은 이후 4초 동안 고정된다. 그 궤적을 LQR 제어기 + kinematic bicycle model로 10Hz로 전파하며 BEV 추상화 위에서 배경 차량·차선·신호를 전개한다. 상호작용이 없으므로(non-reactive) 모든 지표를 오픈루프적으로 병렬 계산할 수 있다.
• PDMS(Predictive Driver Model Score): nuPlan의 폐루프 채점기를 효율적으로 재구현한 것. 무과실 충돌(NC)·주행가능영역 위반(DAC)은 곱셈 패널티(하나라도 0이면 씬 점수 0), 여기에 진행률(EP)·TTC·승차감(C)을 가중 평균해 [0,1] 점수를 만들고 프레임 평균을 낸다. 이름은 nuPlan의 규칙기반 플래너 PDM에서 왔다.
• 씬 필터링이 절반의 성과: 사람이 trivial한 구간(정속 유지로 통과)과 사람 궤적 자체가 noisy한 구간을 걸러낸다. 구체적으로 정속 에이전트가 PDMS 0.8을 넘는 씬과 사람 궤적의 PDMS가 0.8 미만인 씬을 제거. 결과는 navtrain 103k · navtest 12k 씬, 약 450GB. 필터링 후 정속 베이스라인은 22%, 사람 전문가는 95% — "벤치마크가 진짜 어렵다"는 것을 숫자로 보여준다.
• CVPR 2024 챌린지의 반전: 13개국 143팀·463개 제출(78개 공개)이 몰렸고, 그 결과가 불편했다 — 적당한 연산의 TransFuser가 수십억 파라미터급 최신 아키텍처(UniAD 계열)와 비슷한 점수를 냈다. "SOTA 경쟁"보다 "공정한 저울"이 없어서 생긴 착시를 드러낸 셈이다.
• v2의 발상 — 3DGS로 미래를 미리 렌더링: 비반응 시뮬레이션의 약점은 "내가 틀렸을 때 세상이 어떻게 보이는지"를 못 본다는 것. v2는 평가 전에 원본 프레임 주변을 Multi-Traversal Gaussian Splatting(3DGS 기반 재구성)으로 다시 렌더링해, 위치·헤딩·속도가 다른 합성 관측들을 미리 만들어 둔다. 평가는 2단계 — Stage 1은 실제 관측, Stage 2는 합성 관측에서 같은 채점 파이프라인을 돌린다.
• 가까운 관측에 더 큰 가중치: 합성 관측 수천 개를 균등 평균하면 현실성이 떨어진다. 그래서 에이전트가 낸 궤적 끝점과 가까운 합성 관측에 가우시안 커널(σ²) 가중을 준다. 오차 복구와 causal confusion 완화를, 순차 상호작용 없이 얻는 장치다.
• 숫자로 본 v2: nuPlan의 83개 플래너를 대상으로 폐루프 점수와의 상관을 재면 r=0.89 (R²=0.8) — 기존 최고 오픈루프 지표는 r=0.83 (R²=0.7). 환경 상호작용은 6배 적다. 평가 부분집합은 실제 관측 244개 + 합성 관측 4,164개.
• EPDMS(확장 점수) 구성: v2는 v1의 PDMS를 넓혀 위반 유형과 승차감을 촘촘히 본다. 특히 사람도 위반한 상황에서는 페널티를 끄는 false-positive 필터를 넣어, 장애물 회피를 위한 일시적 역주행 같은 정당한 행동에 벌점을 주지 않는다.

EPDMS 구성 (v2)	역할	가중/범위
NC 무과실 충돌	곱셈 패널티	{0, ½, 1}
DAC 주행가능영역 준수	곱셈 패널티	{0, 1}
DDC 주행방향 준수 (신규)	곱셈 패널티	{0, ½, 1}
TLC 신호 준수 (신규)	곱셈 패널티	{0, 1}
EP 자기 진행률	가중 평균	5 · [0,1]
TTC 충돌까지 시간	가중 평균	5 · {0,1}
LK 차선 중앙 유지 (신규)	가중 평균	2 · {0,1}
HC 히스토리 승차감 (개선)	가중 평균	2 · {0,1}
EC 확장 승차감 (신규)	가중 평균	2 · {0,1}

평가 패러다임	비용	현실성	폐루프 상관
오픈루프 (ADE/FDE)	가장 쌈	낮음 — 누적오차 무시	R²≈0.7 (최고치)
폐루프 (CARLA/nuPlan)	매우 비쌈, 모델 접근 필요	도메인 갭	1.0 (기준)
NAVSIM v1 (비반응)	오픈루프급	실데이터 + 4초 전개	오픈루프보다 높음
NAVSIM v2 (의사 시뮬)	폐루프 대비 6배 절약	3DGS 합성 관측 추가	R²=0.8

핵심 주장을 한 문장으로: "폐루프의 예측력을, 오픈루프의 값으로 사는 것." 순차 상호작용을 포기하는 대신, 미래에 있을 법한 관측을 미리 렌더링해 두고 가까운 것에 가중한다.

왜 유명한가 / 활용 가치

• 평가 방법론이 곧 연구 성과가 된 사례: 2024년 CVPR 챌린지에 143팀이 몰리고, 2025년에는 CoRL 논문 + AGC 2025 공식 벤치마크로 자리잡았다. "새 모델"이 아니라 새 자를 만들어 학회 최상위 트랙(NeurIPS D&B)에 올린 드문 케이스다.
• 엔드투엔드 계획 연구의 사실상 표준 리더보드: 2025년 이후 공개되는 E2E 계획 모델들이 앞다투어 navtest/navhard 점수를 함께 보고한다. Hugging Face 리더보드 + 등록 시스템 + 일일 제출 제한으로 재현성 있는 비교가 가능하다.
• 연구실 규모에서 돌아간다: CARLA 폐루프처럼 GPU 팜이 필요 없다. navtrain 센서는 450GB(히스토리 없이 300GB), 나머지는 지표 캐싱이 병렬화되어 있어, 단일 워크스테이션에서 벤치마크 전체를 재현할 수 있다. KOREATECH 같은 연구실 환경에 현실적인 이유다.
• 베이스라인과 체크포인트가 공개돼 있다: TransFuser·LTF·UniAD 재구현, Ego-status MLP, 상수속도 베이스라인 + Hugging Face 체크포인트(autonomousvision/navsim_baselines). "내 모델 vs 공개 베이스라인" 비교를 바로 시작할 수 있다.
• 3DGS를 평가 인프라로 쓴 첫 대규모 사례: 재구성·렌더링 연구를 학습이 아니라 채점에 쓴다. 합성 데이터로 학습하면 성능이 오른다는 주장은 흔했지만, 합성 관측으로 평가의 상관계수를 올렸다는 주장은 새롭다.
• 정직한 실패 보고: "TransFuser가 UniAD급과 비슷하다"는 결과를 숨기지 않고 챌린지 분석으로 공개했다. 벤치마크 논문이 흔히 빠지는 자기 홍보를 피했다는 점에서 인용이 붙는다.

시사점 및 결론

NAVSIM의 진짜 메시지는 "PDMS 점수를 올려라"가 아니다. 우리가 쓰던 자(ruler)가 무엇을 못 재는지를 정량화했다는 것이다. 오픈루프 ADE는 오차 복구를 못 재고, 폐루프 CARLA는 도메인 갭과 비용 때문에 재현이 안 된다. NAVSIM은 그 사이에 4초·10Hz·비반응이라는 절충점을 놓고, v2에서 3DGS 합성 관측으로 "틀렸을 때의 미래"까지 채점 대상으로 끌어들였다. 상관계수 R²=0.8은 완벽하지 않지만, 폐루프 대비 6배 싸게 얻은 0.8이라는 점이 실무적으로 결정적이다.

동시에 한계도 분명하다. 4초 지평은 상호작용이 필요한 판단(양보·합류·비보호 좌회전)을 거의 담지 못하고, 합성 관측의 품질은 재구성 파이프라인에 종속된다. 리더보드가 성숙할수록 벤치마크 과적합 위험도 커진다 — 상위 점수 경쟁이 곧 "navhard에 맞춘 튜닝"이 될 수 있다. 저장소도 2025-10 이후 푸시가 뜸하고 열린 이슈가 51개라, 챌린지 주기마다 관리되는 연구 인프라로 읽는 게 정확하다.

실무 관점의 결론: 자체 계획 모델을 만든다면 ADE/FDE 대신 PDMS를 내부 지표로 채택하고, navtrain으로 학습 → navtest로 회귀 테스트 → 제출용은 navhard_two_stage로 검증하는 3단 파이프라인이 가장 값싼 개선 루프다. 논문을 쓴다면 "우리 모델이 빠르다"보다 "어떤 지표에서, 어떤 씬 필터로"를 먼저 밝히는 것이 NAVSIM이 남긴 방법론적 교훈이다.

함께 읽기: AlpaSim · CenterFusion · nuScenes · PointPillars · BEVFusion · KITTI

원문: https://arxiv.org/abs/2406.15349 · v2: https://arxiv.org/abs/2506.04218 · 코드: https://github.com/autonomousvision/navsim

목록으로 돌아가기