자율주행 리서치 - BEVFusion (MIT HAN Lab, ICRA 2023): '융합은 라이다 공간이 아니다' — 카메라·라이다를 하나의 BEV로 통합해 nuScenes mAP 70.2·야간 +7.4, BEV pooling 40배 가속 (⭐3,229 · Apache-2.0 · NVIDIA TensorRT/DeepStream 탑재)

주제 정보

핵심 내용

이 프로젝트의 한 줄 명제는 질문 하나로 요약된다. “센서 융합은 라이다 공간에서 해야 하는가?” 2019~2022년 융합의 관행은 point-level fusion이었다 — 라이다 점구름 각 점에 카메라 특징(색·의미 라벨)을 칠해서(painting) 라이다 검출기에 넣는 방식(PointPainting 등). BEVFusion은 이 관행을 정면으로 뒤집는다. 카메라→라이다 투영은 의미 정보를 버리기 때문에, 32빔 라이다 기준 카메라 특징의 약 5%만 점과 매칭되고 나머지는 버려진다. 특히 3D 장면 분할 같은 의미 지향 과제에서 치명적이다. 그래서 BEVFusion은 카메라와 라이다를 공유 BEV(bird’s-eye view) 표현 공간으로 각각 끌어올려 융합한다.

• ① 통합 표현(unified BEV): 카메라 특징은 LSS 방식으로 깊이 분포를 예측해 BEV로 밀어 올리고(lift), 라이다 특징은 복셀 인코더로 BEV 평면에 투영한다. 두 특징을 같은 해상도의 BEV 텐서로 맞춘 뒤 합성곱 BEV 인코더로 국소 정합 오차까지 흡수한다. 결과적으로 기하(라이다)와 의미(카메라)를 동시에 보존하고, 과제별 헤드만 갈아 끼우면 검출·분할·추적이 모두 가능한 task-agnostic 구조가 된다.
• ② 병목 진단과 40× 가속(BEV pooling): 논문의 공학적 백미다. BEV로 올리는 과정에서 카메라 특징 점구름이 워낙 커, BEV pooling 한 연산이 모델 실행시간의 80% 이상을 잡아먹었다(RTX 3090에서 500 ms 초과, 모델 나머지 전체가 약 100 ms; 기존 구현은 장면당 최대 2초). 저자들은 ① 각 점의 3D 좌표·BEV 격자 인덱스를 미리 계산(precomputation)해 격자 정합을 17 ms → 4 ms, ② DRAM 왕복을 없애는 구간 축약(interval reduction)으로 특징 집계를 500 ms → 2 ms로 줄여, 뷰 변환 전체를 >40× 가속(500 ms → 12 ms)했다.
• ③ nuScenes 3D 검출 SOTA(논문 Table I): 카메라+라이다 조합에서 test mAP 70.2 / NDS 72.9, val mAP 68.5 / NDS 71.4. 직전 SOTA였던 TransFusion(68.9/71.6)보다 +1.3 mAP·NDS를 얻으면서 연산량(MACs)은 485.8 G → 253.2 G(약 1.9× 절감), 지연은 156.6 ms → 119.2 ms로 줄였다. 라이다 단독 최강인 CenterPoint(60.3/67.3)와 비교하면 융합의 가치가 그대로 드러난다. 데스크톱 GPU(RTX 3090)에서 8.4 FPS로 실시간 근접.
• ④ BEV 지도 분할은 더 극적(Table III): 의미 지향 과제에서 점 단위 융합은 사실상 작동하지 않는다. BEVFusion은 6개 클래스 평균 mIoU 62.7로, 기존 최고 융합 기법 MVP(49.0)를 크게 앞섰다. 라이다 단독 대비 +13.6 mIoU, 카메라 단독 대비 +6 mIoU다. “라이다 공간이 융합의 정답이 아니다”라는 주장의 실증이다.
• ⑤ 악천후·야간 강건성(Table IV): 단일 센서가 무너지는 조건에서 진가가 나온다. BEVFusion(카메라+라이다)은 화창한 날 mAP 68.2, 비 오는 날 69.9(+10.7), 야간 42.8(+7.4). 분할 mIoU는 야간에 43.6(+12.8)까지 뛴다. 같은 조건에서 라이다 단독 CenterPoint는 야간 mAP 35.4, 카메라 단독 BEVFormer는 21.2로 급락한다.
• ⑥ Waymo·범용성: nuScenes 외에 Waymo Open Dataset에서도 SOTA를 세웠고, 라이다·카메라 외에 레이더·이벤트 카메라로, 그리고 추적·모션 예측 과제로도 확장 가능하다고 명시했다.

왜 유명한가 / 활용 가치

• ‘융합의 장소’를 바꾼 패러다임 논문: 3년간 굳어 있던 point-level fusion 관행을 “라이다 공간에서 융합하는 것이 옳은가?”라는 질문으로 되돌리고, BEV를 공용 표현으로 택하는 대안을 제시했다. 이후 occupancy·end-to-end·멀티모달 계보가 대부분 “무엇을 BEV(또는 토큰)로 통합할까”를 논한다는 점에서, 이 논문은 표현 공간 선택이 성능과 연산을 동시에 결정한다는 것을 보여준 분기점이다.
• 연구가 곧바로 산업 배포로 이어진 드문 사례: ① 2023-01 MMDetection3D 공식 프로젝트로 통합, ② 2023-05 NVIDIA가 TensorRT 배포 솔루션(Jetson Orin에서 25 FPS)을 공개, ③ 2024-05 NVIDIA DeepStream 7.0에 센서 융합 레퍼런스로 채택. 논문이 임베디드 실차 보드에서 도는 코드로 전환된 경로가 문서로 남아 있다.
• 리더보드 1위의 이력: 공개 직후 nuScenes(2022-06) 검출·추적, Waymo(2022-08) 검출, Argoverse(2023-04) 검출 리더보드에서 모두 1위를 기록했다. 지금은 상위권이 갱신됐지만, 이 세 리더보드를 한 모델로 휩쓴 점이 ‘융합의 기준선’이라는 평가를 굳혔다.
• 계보의 중심: 뷰 변환은 LSS(08-27)를 계승하며 그 병목(느린 BEV pooling)을 40× 가속하는 방식으로 해결했다는 점에서, LSS·BEVFormer(08-17)의 카메라 전용 계보와 TransFuser(08-26)의 융합 계보가 만나는 지점에 있다. UniAD(08-12) 같은 end-to-end 시스템이 쓰는 BEV 인지 백본의 상류에 이 프로젝트가 있다.
• 정직한 한계도 함께: 최근 커밋이 2024-07-31, 태그·릴리스가 0개인 연구용 참조 구현이다 — 지금은 라이다 ‘없이’ 카메라·레이더만으로 가는 흐름(4D 레이더·비전 전용 스택)이 커지며 융합의 무게중심도 이동 중이다. 그럼에도 3,229⭐·1,773회 인용은 “고전이 된 구현체”로서의 위상을 보여준다.
• 블로그 계보와의 연결: LSS(08-27)가 ‘카메라만으로 BEV를 만드는 법’을 열었다면, BEVFusion은 그 위에 ‘라이다를 함께 놓는 법’을 얹고 연산 병목까지 해결했다. KITTI·nuScenes·Waymo 같은 벤치마크가 이 비교를 가능케 한 토대라는 점도 그대로 이어진다.

시사점 및 결론

BEVFusion이 남긴 교훈은 “센서를 몇 개 붙이느냐”가 아니라 “어느 표현 공간에서 합치느냐”가 인지 성능을 가른다는 것이다. 라이다 점에 카메라를 칠하는 방식은 검출에는 통했지만 의미를 버렸고, 그 대가가 BEV 지도 분할(mIoU 62.7 대 49.0)과 야간·우천 강건성(+7.4~+12.8)에서 수치로 드러났다. 더 중요한 것은 이 성능을 더 싸게 얻었다는 점이다 — MACs 1.9× 절감, 지연 119 ms, 그리고 BEV pooling 40× 가속이라는 커널 수준 최적화가 있어서야 “융합을 BEV에서”라는 주장이 실차·임베디드로 내려올 수 있었다. 연구실 성능표가 NVIDIA TensorRT·DeepStream 위에서 25 FPS로 도는 순간, 표현 선택은 곧 배포 가능성의 문제가 된다. 오늘날 SparseDrive·occupancy·VLA 모델이 ‘무엇을 하나의 표현으로 통합할까’를 다시 묻고 있는 것은, 결국 이 논문이 던진 질문의 연장선이다. 라이다·카메라를 하나의 BEV에 놓고, 그 병목을 커널로 뚫고, 그것을 리더보드와 실배포로 동시에 증명한 프로젝트라는 점에서 BEVFusion은 멀티센서 융합의 기준선으로 남는다.

원문: https://github.com/mit-han-lab/bevfusion · 논문: https://arxiv.org/abs/2205.13542

목록으로 돌아가기