자율주행 리서치 - VectorNet: HD 맵과 에이전트 동역학을 벡터 표현으로 인코딩한 행동 예측 (Waymo, CVPR 2020)

주제 정보

핵심 내용

VectorNet은 자율주행차가 '다음 순간 주변 에이전트(차량·보행자)가 어디로 움직일지'를 예측하는 행동 예측 모델이다. 당시 주류였던 '조감도(BEV) 이미지로 렌더링 → CNN 인코딩' 방식이 해상도 제한으로 도로 구조 정보를 잃고 계산 비용이 크다는 문제를 지적하며, HD 맵과 에이전트 궤적을 벡터(폴리라인 조각) 표현 그대로 계층적 그래프 신경망(GNN)에 넣는 패러다임을 제안했다.

• 벡터화 표현: 차선·정지선·횡단보도 같은 HD 맵 요소와 차량·보행자의 과거 궤적을 각각 짧은 폴리라인 벡터로 분해해 시작점·끝점·길이·종류 등 저차원 특징으로 인코딩 — 이미지 렌더링 없이 도로 구조의 정밀도를 그대로 유지
• 계층적 GNN: 1단계에서 각 폴리라인 내부(로컬) 노드 상호작용을 서브그래프로 처리하고, 2단계에서 모든 폴리라인을 노드로 하는 글로벌 그래프 어텐션으로 에이전트-에이전트·에이전트-맵 간 고차 상호작용을 모델링
• 출력: 각 에이전트의 미래 궤적(후보 목적지·경로)에 대한 확률 분포를 생성해 하위 플래닝/결정 모듈에 전달 — 예측 불확실성을 확률적으로 표현
• 성능: BEV 렌더링 기반 CNN 베이스라인 대비 훨씬 작은 모델 크기로 더 정확한 예측을 달성 — 특히 HD 맵 정보가 빈약한 구간(교차로 안쪽 등)에서 벡터 표현의 강점이 두드러짐

왜 유명한가 / 활용 가치

• 웨이모(구글)의 행동 예측 대표작: 자율주행 상용화 1위 기업이 CVPR 2020에서 공개한 논문으로, '예측 계층' 연구의 기준점이 됨 — 이 시리즈의 인식(08-17 BEVFormer)·통합 파이프라인(08-05/12 UniAD) 포스트와 짝을 이루는 미싱 퍼즐
• '벡터화' 패러다임의 원조: 렌더링 손실(lossy rendering) 논쟁을 종결하며, 이후 HD 맵 구축(HDMapNet 2021, MapTR 2022)과 벡터 쿼리 기반 통합 모델(UniAD, VAD 등)까지 도로 구조를 벡터로 다루는 표현이 사실상 표준으로 자리잡는 토대를 마련
• 효율과 정확성의 동시 확보: CNN 기반 BEV 파이프라인의 해상도 제한·계산 비용 문제를 구조적으로 해결해, 이후 경량 실시간 모델들이 참조하는 설계 원칙을 제시
• 재현 생태계: 공식 코드는 비공개지만 PyTorch 재구현이 다수(400⭐ 이상 포함) 존재해 궤적 예측을 공부하는 입문자에게 가장 많이 인용되는 레퍼런스 중 하나

시사점 및 결론

VectorNet은 자율주행 스택에서 예측이 왜 별도의 핵심 계층인지 보여준다. 인식이 '지금 무엇이 어디에 있는지'를 알려준다면, 예측은 '다음에 무엇이 어디로 움직일지'를 결정하고 플래닝은 그 위에서 안전한 결정을 내린다 — 예측 오차는 곧 사고 위험으로 직결된다. 이 논문의 통찰(도로 구조를 이미지로 굽지 말고 벡터로 유지하라)은 2026년 현재 HD 맵·예측·통합 자율주행 연구 전반에 스며들었고, 트랜스포머 기반 벡터 쿼리(UniAD·VAD 계열)로 진화했다. 인식·예측·플래닝이 하나의 신경망으로 합쳐지는 end-to-end 흐름 속에서도, 예측 모듈의 해석 가능성과 안전 검증 가능성은 여전히 상용화의 관건이며 VectorNet은 그 논의의 출발점 중 하나로 남아 있다.

원문: https://arxiv.org/abs/2005.04259