주제 정보
- 유형: 모션 예측(motion forecasting) 논문 — 주변 차량·보행자의 3초 뒤 미래 궤적을 예측하는 자율주행 스택의 예측 계층. 인식이 만든 궤적과 플래닝이 소비하는 확률 분포 사이의 '빠진 연결고리'를 실시간으로 만든 작업
- 제목: HiVT: Hierarchical Vector Transformer for Multi-Agent Motion Prediction
- 저자/소속: Zikang Zhou · Luyao Ye · Jianping Wang · Kui Wu · Kejie Lu — City University of Hong Kong (홍콩시립대)
- 분야/게재지: 컴퓨터 비전 / CVPR 2022 (pp. 8823–8833) · DOI 10.1109/CVPR52688.2022.00862 — arXiv 프리프린트가 없다(공개 원문은 CVPR 게재본뿐). 블로그의 다른 논문 글처럼 arXiv 링크를 달 수 없는 사례
- 핵심 기여: ① 문제를 국소(local) 문맥 추출 + 전역(global) 상호작용 모델링의 2단계로 분해, ② 이동 불변(translation-invariant) 장면 표현과 회전 불변(rotation-invariant) 공간 학습 모듈 — 대칭성을 설계에 넣어 정확도·데이터 효율·파라미터 효율·속도를 한꺼번에 개선
- 데이터셋: Argoverse Motion Forecasting — 실주행 시나리오 323,557개(학습 205,942 / 검증 39,472 / 테스트 78,143), 10Hz 5초 시퀀스. 2초를 관측하고 3초 미래를 예측, 에이전트당 최대 6개 궤적 제출
- 인용: Semantic Scholar 526회(영향력 있는 인용 101회 · CVPR 게재본 DOI 기준) · OpenAlex 457회 — 연도별 집계가 2024년 109회 → 2025년 175회 → 2026년 96회(9월까지)로 지금도 늘고 있다
- 공식 구현: ZikangZhou/HiVT ⭐752 · Apache-2.0 · 2022-03-10 생성 · 최근 푸시 2023-10-01(릴리스 없음) — 연구가 완결된 저장소로 읽는 것이 정확하다
- 원문: CVPR 2022 open access 게재본 페이지 · PDF · 코드 github.com/ZikangZhou/HiVT
핵심 내용
자율주행에서 예측은 인식과 플래닝 사이에 놓인 확률적 다리다. 옆 차선 차량이 3초 뒤 어디에 있을지 모르면, 어떤 경로도 안전하다고 말할 수 없다. 2020년 무렵 벡터화(vectorized) 표현이 이 분야를 장악했다 — 차량 궤적과 HD맵 차선을 폴리라인(벡터)으로 바꿔 그래프/트랜스포머로 상호작용을 학습하는 방식(VectorNet 계보)이다. 그런데 이 계보에는 두 가지 빚이 있었다: 문제의 대칭성을 무시하고, 계산 비용이 커서 실시간 다중 에이전트 예측이 어렵다는 것. HiVT는 이 두 문제를 구조 설계로 푼다.
- 계층적 분해 — "주변을 먼저, 세상은 나중에": 에이전트 하나하나가 장면의 모든 다른 에이전트와 상호작용하면 비용이 폭발한다. HiVT는 ① 각 에이전트의 주변 r미터(기본 50m) 안의 이웃만 보는 국소 인코더로 문맥을 추출하고, ② 그 국소 표현들끼리 전역 상호작용을 모델링한다. 논문은 "전역 모듈을 추가하는 비용은 무시할 수준인데 성능 향상은 크다"고 보고한다(r=50m에서 0.74/1.17 → 0.69/1.04)
- 이동 불변(translation-invariant) 장면 표현: 모든 좌표를 마지막 관측 시점의 에이전트 위치 기준 상대좌표로 바꾼다. 도시 전체에서 장면이 평행이동해도 같은 예측이 나오고, 모델이 절대 위치를 암기할 필요가 사라진다
- 회전 불변(rotation-invariant) 공간 학습: 각 에이전트의 진행 방향(heading)을 기준으로 국소 좌표계를 잡아 학습한다. 덕분에 학습 때 보지 못한 회전 각도에서도 예측이 무너지지 않는다 — Fig. 2(b)에서 회전 0°→180°로 돌려도 HiVT의 minADE는 거의 평평한 반면, 회전 불변 설계가 없는 대조 모델은 크게 악화된다
- 데이터 효율: 같은 이유로 학습 데이터가 적어도 비불변 대조 모델과 동등한 성능에 도달한다(Fig. 2(a), 학습 데이터 0~100% 곡선)
- 단일 forward pass로 모든 에이전트 예측: 대칭적 설계 덕분에 장면 내 모든 에이전트를 한 번의 순전파로 예측한다(다중 순전파 불필요). 배치 크기 1·r=50m에서 HiVT-128 평균 약 20ms — r=50m, 배치 32에서 69ms(모델 크기에 따라 64차원 모델은 39~53ms)
- Argoverse 테스트 리더보드 결과(2021-11-16 수집, Table 4): minADE / minFDE / MR(2m miss rate) 기준 — HiVT-64 0.8067 / 1.2433 / 0.1396 (662K 파라미터), HiVT-128 0.7735 / 1.1693 / 0.1267 (2,529K). 비교: LaneGCN 0.8679/1.3640/0.1634(3,701K) · Scene Transformer 0.8026/1.2321/0.1255(15,296K) · DenseTNT 0.8817/1.2815/0.1258(1,103K) · MultiModalTransformer 0.8372/1.2905/0.1429(6,328K) · mmTransformer 0.8436/1.3383/0.1540(2,607K)
- 파라미터 효율: HiVT-64는 Scene Transformer·MultiModalTransformer보다 파라미터를 각각 95.7%·89.5% 적게 쓰고도 minADE·minFDE에서 앞선다. HiVT-128은 그 둘보다 83.5%·60.0% 적은 파라미터로 리더보드의 모든 모델을 minADE·minFDE에서 앞선다 — 2021-11-16 시점 minADE 기준 리더보드 1위를 기록했다
- 속도 비교(Table 5, RTX 2080 Ti, 배치 32, 검증셋): LaneGCN 173ms · DenseTNT(goal set pred.) 531ms(100ms 최적화판은 2,644ms) · HiVT-64(국소만, r=50) 52ms · HiVT-64(국소+전역, r=50) 53ms — 0.69/1.04/0.10 · HiVT-128(r=50) 69ms — 0.66/0.96/0.09. r를 20m로 줄이면 39ms까지 내려가고, 80m로 키우면 느려지기만 하고 성능은 오르지 않는다
- 어블레이션(Table 1–3): 국소 상호작용 모듈·시간 학습 모듈·차선 정보를 하나씩 제거하면 모두 성능이 하락한다(특히 시간 학습의 영향이 가장 크다 — 과거 관측이 예측의 핵심). 표현/대칭성 비교(Table 3)는 극적이다: 점 집합 + 회전 불변 없음 1.09/1.89/0.26 → 벡터 집합 + 회전 불변 없음 0.73/1.13/0.12 → 벡터 집합 + 회전 불변 0.69/1.04/0.10
- 정성 결과 하나: Argoverse에는 신호등 상태 정보가 없다. 그런데도 모델은 교차로에서 차량의 급가속을 예측해냈다 — 다른 에이전트들의 움직임 패턴만으로 '신호가 바뀌었다'를 간접 추론한 셈이다
왜 유명한가 / 활용 가치
- 인용 526회(S2) · ⭐752 · CVPR 2022: Argoverse 1.1 예측 벤치마크에서 사실상 표준 베이스라인이 됐다. 리뷰·서베이·후속 논문이 비교 기준으로 HiVT를 빠뜨리지 않는다
- 계보의 분기점 — 후속 QCNet (CVPR 2023) ⭐800: 같은 저자(Zikang Zhou)가 질의 중심(query-centric) 설계로 이어가며 Argoverse 2까지 확장했다. HiVT는 그 계보의 출발점이고, 국소-전역 분해와 불변성 설계는 이후 예측 모델들이 그대로 물려받은 문법이 됐다
- \"정확도만\"이 아니라 \"실시간\"을 문제로 만든 논문: 양산 스택에서 예측 모듈은 10Hz 루프 안에서 돌아야 한다. HiVT는 662K 파라미터·39ms(배치 1 기준 20ms대)로 연구 벤치마크 1위와 실시간 제약을 동시에 만족시킨 사례로 자주 인용된다
- 이 블로그의 계보와 맞물린다: 입력 쪽은 DETR3D·BEVFormer·CenterPoint(인식·추적)가 궤적을 만들고, 소비 쪽은 UniAD(플래닝 지향 end-to-end)·Trajectron++(예측↔플래닝 연결)가 받아 쓴다. HiVT는 그 가운데 칸을 채운다 — VectorNet이 연 벡터화 예측을 대칭성·속도 문제로 밀어붙인 다음 단계
- 안전과 직결: MR(2m miss rate)은 결국 \"다른 차를 놓쳤는가\"의 비율이다. RSS(Mobileye) 같은 안전 모델이 전제하는 '다른 차의 미래'는 이런 예측기에서 나온다 — 예측 오차는 곧 안전 위반 여유의 잠식이다
- 활용 가치: ① 자율주행 예측 모듈의 재현 가능한 베이스라인(공식 코드 Apache-2.0), ② Argoverse·Argoverse 2 챌린지 출제 기준 이해, ③ 시뮬레이터(esmini·CARLA·SUMO)에 타 에이전트 행동 모델로 이식, ④ 로보틱스·군집 일반의 다중 에이전트 궤적 예측(같은 국소-전역 분해가 그대로 통한다)
- 한계(정직하게): 설정이 좁다 — Argoverse 1.1의 2초 관측/3초 예측, 정적 HD맵 의존, 그리고 에이전트당 6개 다중 가설까지만 다룬다. 공식 저장소도 2023-10 이후 업데이트가 없다. '지금 최고'가 아니라 \"실시간 계층적 예측의 기준점\"으로 읽어야 맞다
시사점 및 결론
자율주행의 어려움은 내가 통제할 수 없는 것과 함께 움직여야 한다는 데 있다. 인식 논문들이 '내가 무엇을 보는가'를 다룬다면, 예측은 '남이 무엇을 할 것인가'를 확률로 붙잡는 작업이다. HiVT의 메시지는 기술적으로 단순하고 강하다 — 문제의 대칭성을 무시한 모델은 데이터를 더 써서 때워야 하고, 그 대가는 파라미터와 지연으로 돌아온다. 같은 성능을 95% 적은 파라미터로, 더 빠르게 낸다는 것은 곧 양산 제약 안에서 쓸 수 있는 정확도를 뜻한다.
2026년의 관점에서 이 논문은 '옛 예측 모델'이 아니라 AV 스택의 중간 계층을 정의한 문서로 읽는 것이 맞다. 인식이 아무리 좋아도 예측이 틀리면 플래너는 잘못된 세상 위에서 계획을 세우고, end-to-end 모델로 통합되는 흐름에서도 예측은 여전히 내부의 명시적 병목으로 남는다. 그래서 \"이 모델이 3초 뒤의 세상을 얼마나 정직하게 말하는가\"를 묻는 습관 — 그리고 그 답을 속도와 파라미터까지 함께 적어서 확인하는 태도가, HiVT가 남긴 가장 실용적인 유산이다.
원문: CVPR 2022 게재본 (open access) · DOI 10.1109/CVPR52688.2022.00862 · 코드: https://github.com/ZikangZhou/HiVT · 후속: QCNet (CVPR 2023)
목록으로 돌아가기