자율주행 리서치 - DriveLM (OpenDriveLab, ECCV 2024 Oral): '운전을 그래프 질문으로 바꾸다' — CVPR 2024 챌린지 공식 트랙이 된 언어 주행 벤치마크 (⭐1,343 · 프레임당 91.4 QA · 인용 208회)

주제 정보

핵심 내용

이 블로그는 그동안 nuScenes(2026-08-24)·Waymo Open(2026-09-15) 같은 데이터셋, BEVFormer(2026-08-17)·CenterPoint 같은 인식, UniAD(2026-08-12)·VAD(2026-08-18)·CIL 같은 주행 정책, CARLA(2026-09-09)·SUMO 같은 시뮬레이터, LMDrive(2026-09-12) 같은 언어 기반 주행을 다뤘다. 이번 글의 DriveLM은 그 언어 축의 다른 절반이다 — LMDrive가 "LLM을 운전석에 앉힌 모델"이라면, DriveLM은 그런 모델이 무엇을 이해했는지 시험하는 시험지다. 핵심 착상은 이 한 문장에서 나온다: "인간 운전자는 한 번의 질문으로 판단하지 않는다." 먼저 중요한 객체를 찾고(perception), 그 객체들의 상호작용을 추정하고(prediction), 그다음에 행동을 정한다(planning). 논문은 바로 이 다단계 추론 자체를 과제로 정의했다.

• 핵심 아이디어 = Graph VQA(GVQA): 기존 자율주행 VQA는 단일 라운드(one-shot) 질문-답이었다. DriveLM은 QA 쌍을 노드로, 논리적 의존 관계를 엣지로 하는 방향 그래프로 장면을 표현한다. 그래서 어떤 질문의 답이 다음 질문의 맥락(context)이 된다 — 추론의 연쇄가 데이터 구조에 새겨져 있는 셈이다. 논문 표현대로 "GM = (V, E)", 즉 정점은 QA 쌍, 간선은 논리적 진행이다.
• 그래프의 두 축: ① object-level — 객체 사이 상호작용의 영향(예: 특정 객체의 움직임이 자차 계획에 미치는 영향), ② task-level — 인식 → 예측 → 계획으로 이어지는 단계 간 의존. 앞 단계 답이 뒷 단계 질문의 맥락이 되는 구조가 여기서 나온다.
• 논문에 실린 실제 QA 예시(원문 그대로): "Q: What are the objects worth noting in the current scenario?" → "A: There is a van, a sedan and a pedestrian in front of the ego car." 그리고 이 답을 맥락(C: P1)으로 받는 예측 질문 — "Q: Where might the van, the sedan and the pedestrian move in the future?" → "A: Those objects may move to the right lane, cross the ped-crossing, etc." 사람이 사고하는 순서를 질문 그래프로 옮긴 것이 요점이다.
• 질문 유형: P1·P2·P3(인식의 3단계 깊이) · Prediction · Planning · B(b)Behavior · M(m)Motion. 인식 질문이 3단계로 나뉘어 있어, "객체를 찾았다"에서 멈추지 않고 "그 객체들의 관계를 봤는가"까지 채점할 수 있다.
• 데이터 밀도가 이 데이터셋의 무기: DriveLM-nuScenes는 프레임당 평균 91.4개 질문을 담았다. 같은 표에서 nuScenes-QA는 13.5개, LingoQA는 15.3개, HAD는 1.8개, BDD-X는 1.0개다. 게다가 기존 데이터셋의 "Logic" 열이 None(nuScenes-QA·HAD·BDD-X·LingoQA) 또는 Chain(DRAMA·Rank2Tell)인 데 비해 DriveLM은 유일하게 Graph다. 프레임 수는 적고 질문 밀도는 압도적으로 높다 — 이것이 이 벤치마크의 성격을 규정한다.
• 베이스라인 DriveLM-Agent: VLM 하나로 Graph VQA와 end-to-end 주행을 동시에 수행한다. 언어 모델은 blip-2-flan-t5-xl, 그리고 궤적을 언어 토큰으로 바꾸는 trajectory tokenizer(RT-2 방식)를 붙였다 — 연속 궤적을 이산화해 256개 토큰 ID + 시작·끝을 표시하는 SOT/EOT 토큰으로 표현하고, 다음 토큰 예측(next token prediction)으로 미래 경로를 문장 생성하듯 뽑아낸다. 별도로 LLaMA-Adapter V2(7B)와도 비교한다.
• 평가 체계: VQA 쪽은 BLEU-4 · METEOR · CIDEr · ROUGE_L · SPICE에 더해 GPT-score와 Completeness(한 프레임의 질문을 몇 개나 맞혔는가)를 쓴다. 주행 쪽은 ADE/FDE + 충돌률(collision rate)이며, 논문은 "UniAD의 설정을 따르고 ST-P3 설정을 따르지 않았다"고 명시해 비교 기준선을 분명히 한다 — 같은 ADE/FDE라도 계산 구간이 다르면 순위가 뒤집히기 때문이다.
• 핵심 실험 결과 — 그래프 맥락은 실제로 도움이 된다: 보조자료 Table 12의 제목 자체가 주장이다 — "Graph-structured reasoning facilitates improved VQA with VLMs." 같은 프레임을 그래프 맥락 없이(None) 묻는 것보다 그래프 맥락을 주는 쪽이 낫다. 다만 논문은 정직하게 경고한다: "개선 추세가 기존 지표마다 일관되지 않다. 그래서 더 포괄적으로 평가하는 GPT score를 주 지표로 삼는다."
• 제로샷 일반화가 이 논문의 진짜 승부처: DriveLM-CARLA 학습 데이터에는 보행자가 한 명도 없다. 여기에 보행자만 모은 새 테스트셋(DriveLM-CARLA-ped)을 만들어 "멈춰야 하는 상황"을 시험했다. 결과가 인상적이다 — CARLA 최강자인 TransFuser++는 정확도 70.19 → 8.72로 무너졌고, DriveLM-Agent도 59.63 → 4.59로 무너졌다. 그런데 추론 시에 "Is there a person crossing the road?" 질문 하나를 추가하는 것만으로 27.04까지 회복했고, 그래프 맥락을 완벽히 주는 조건(privileged)에서는 92.35에 도달했다. 언어로 질문을 던질 수 있다는 것이 곧 새 상황에 대응할 수 있다는 것을 보여준 대목이다.
• 미완성 부분도 공개: 저장소 TODO 목록에 따라 DriveLM-Data(nuScenes·CARLA)·GPT-score 지표·DriveLM-nuScenes 추론 코드는 완료([x])지만, DriveLM-CARLA 추론 코드는 미완성([ ])으로 남아 있다. 폐루프 언어 주행은 열린 문제로 남겨둔 것이다.

왜 유명한가 / 활용 가치

• 학회 챌린지가 곧 표준 인증이다: DriveLM은 CVPR 2024 Autonomous Grand Challenge의 메인 트랙('Driving with Language')으로 채택되었다(저장소 하이라이트에 명시). 자율주행 분야에서 CVPR 챌린지 트랙이 된다는 것은 커뮤니티가 공식 비교 기준으로 채택했다는 뜻이며, HuggingFace에 상시 리더보드가 운영된다(AGC2024/driving-with-language-official, 접속 200 확인). 논문 한 편이 아니라 평가 인프라가 되었다.
• ECCV 2024 Oral: arXiv comment 필드와 저장소 뉴스(2024-07-01 DriveLM got accepted to ECCV 2024)가 일치한다. Oral은 채택 논문 중 극소수에게만 주어지는 등급으로, 심사위원들이 문제 정의의 파급력을 높게 본 증거다.
• 인용 208회(OpenAlex, ECCV 학회판): 2024년 학회 게재 후 약 2년 만의 수치다. 언어 기반 자율주행 연구에서 비교 대상 + 데이터 출처로 동시에 쓰인다는 의미이며, 이 분야 표준 벤치마크의 전형적인 인용 곡선이다.
• 'Chain → Graph'라는 데이터 구조의 전환: 위 Table 1의 Logic 열이 이 논문의 기여를 가장 압축적으로 보여준다. 기존 자율주행 언어 데이터셋은 논리 구조가 아예 없거나(None) 단선 체인(Chain)이었다. DriveLM은 객체 간 상호작용 + 단계 간 의존을 동시에 담는 그래프를 도입했다 — 이는 단순한 라벨링 양의 증가가 아니라 추론 감독의 형태를 바꾼 것이다.
• 3개 기관 · 오픈소스 · 데이터·코드·모델 전면 공개: OpenDriveLab(상하이 AI 연구소)의 대규모 공개 정책, 튀빙겐대 AutoVision 그룹(Andreas Geiger)의 벤치마크 설계 경험, 홍콩대의 조합이다. 코드·자산은 Apache-2.0이라 상용 파이프라인에 넣을 수 있고, 언어 데이터는 CC BY-NC-SA 4.0(비상업)이라 연구 목적 사용에는 제약이 없다 — 어디까지 쓸 수 있는지가 라이선스로 명확한 것이 실무에서 큰 장점이다.
• 활용 가치 — 무엇에 쓰는가: ① VLM 주행 평가 표준: "우리 VLM이 운전을 이해하는가"를 GPT-score·Completeness로 측정하는 공용 잣대. ② 설명 가능한 계획: 궤적만 뱉는 대신 "왜 그렇게 가는가"를 질문 그래프로 따라갈 수 있게 한다. ③ CoT/GoT 학습 데이터: 저장소 토픽 그대로, chain-of-thought·graph-of-thoughts·tree-of-thoughts 연구의 주행 도메인 데이터셋. ④ 챌린지 기준선: devkit과 제출 형식·평가 파이프라인이 공개되어 있어 새 방법의 비교 출발점으로 바로 쓸 수 있다. ⑤ 충돌 안전 감사: 그래프의 각 노드를 따로 채점하면 "무엇을 틀렸는가"를 단계별로 특정할 수 있다.
• 가장 중요한 후속 연구가 이 논문을 반박한다: 같은 그룹이 2025-01-08 Drive-Bench(arXiv:2501.04003, "Are VLMs Ready for Autonomous Driving?")를 공개했다. 17개 설정(정상·손상·텍스트만) × 19,200 프레임 × 20,498 QA × 12개 VLM을 평가한 결과는 불편하다 — "VLM은 진짜 시각적 근거(visual grounding)보다 일반 지식이나 텍스트 단서로 그럴듯한 답을 생성하는 경우가 많다", 특히 시각 입력이 손상되거나 아예 없을 때도 그렇다. 즉 GPT-score로 잘 채점되는 답이 실제로는 화면을 보고 있지 않을 수 있다는 것이다. 저장소 뉴스에 이 논문을 스스로 걸어둔 것이 이 생태계의 성숙도를 보여준다.
• 한계도 분명하다: ⋯ ① nuScenes 부분은 4,871개 keyframe뿐이라 장면 다양성이 제한적이다(전체 64k 프레임은 CARLA 합성 데이터이고 그 QA는 규칙 기반 자동 생성). ② 마지막 푸시가 2025-07-02로 1년 넘게 유지보수가 멈춰 있다(이 블로그 기준 시점). ③ CARLA 추론 코드가 미완성이라 '폐루프 언어 주행'은 아직 약속 상태다. ④ 데이터 라이선스가 비상업(CC BY-NC-SA)이라 상용 서비스에 그대로 넣을 수 없다. ⑤ 제로샷 실험의 4.59처럼 보지 못한 객체 앞에서 성능이 붕괴하는 문제는 여전히 열려 있고, Drive-Bench가 이를 체계적으로 확인했다.

시사점 및 결론

이 블로그가 다룬 LMDrive(2026-09-12)는 LLM을 운전석에 앉혔고, DriveLM은 그 운전자가 말을 이해하는지 시험하는 시험지를 만들었다. 두 축이 만나면서 언어 기반 자율주행은 한 단계 성숙했다 — 모델만 있고 채점 기준이 없으면 논쟁은 취향 싸움이 되지만, CVPR 챌린지 트랙과 데이터·devkit·리더보드가 생기면 비교가 검증이 된다. 그리고 여기서 이 논문의 가장 값진 결정은 성능 수치가 아니라 지표 선택이다. 논문은 "기존 지표마다 개선 추세가 일관되지 않으므로 GPT score를 주 지표로 삼는다"고 스스로 밝힌다. BLEU·CIDEr 같은 표면적 텍스트 유사도로는 "그럴듯하지만 틀린" 답을 걸러낼 수 없다는 고백이며, 실제로 1년 뒤 그룹 자신이 Drive-Bench로 그 구멍을 정면으로 파고들었다.

또 하나 주목할 것은 좋은 데이터 구조가 곧 좋은 과제라는 점이다. 프레임당 91.4개 질문을 그래프로 엮는 순간(같은 표에서 다른 데이터셋은 13.5개·1.8개에 Logic=None 또는 Chain), 그 데이터는 "질문에 답하는 능력"이 아니라 "단계를 밟아 판단하는 능력"을 측정하는 벤치마크가 된다. 그래서 DriveLM은 구조화된 지도 표현을 관통했던 VectorNet(2026-09-02)과 MapTR(2026-09-21)의 '표현이 곧 성능' 문제의식을 언어로 옮긴 셈이기도 하다. 인식의 병목을 벡터 표현으로 풀었던 흐름이 이제는 추론의 병목을 그래프 표현으로 푸는 방향으로 이어지고 있다.

결국 DriveLM의 성취는 하나로 요약된다 — 설명 가능성을 성능 지표에서 분리해 별도의 측정 문제로 만들었다. Driving score가 아무리 높아도 "왜 그렇게 판단했는가"는 다른 질문이고, 그 질문에 답하려면 그래프의 각 노드를 따로 채점하는 설계가 필요하다. DriveLM과 Drive-Bench가 함께 놓은 교훈은 이렇다: 모델이 잘 맞히는 것과 실제로 보는 것은 다를 수 있으므로, 평가를 만드는 일은 모델을 만드는 일만큼 어렵다.

원문: https://github.com/OpenDriveLab/DriveLM

목록으로 돌아가기