자율주행 리서치 - CenterFusion (University of Tennessee Knoxville, WACV 2021): '카메라가 못 재는 속도를 레이더가 즉시 준다' — 원뿔(frustum)로 검출점과 레이더 점을 연결해 nuScenes NDS 0.328→0.453, 속도 오차 1.426→0.540 (인용 442회 · ⭐643 · MIT)

주제 정보

핵심 내용

2020년까지의 nuScenes 3D 검출 연구는 대부분 카메라나 라이다만 썼다. 데이터셋에는 레이더도 들어 있었지만, 레이더 점운은 라이다보다 훨씬 희소해서 형상 정보를 뽑기 어려웠고, 라이다용 알고리즘을 그대로 옮기기도 사실상 불가능했다. CenterFusion은 그 빈칸을 "융합을 어디서 하느냐"로 공략한다. 백본·검출기는 그대로 두고, 예비 검출과 2차 회귀 사이에 레이더를 끼워 넣는 구조다.

• 3단계 파이프라인: 이미지에서 CenterNet(DLA 백본)이 객체 중심점을 찾아 예비 3D 박스를 만든다 → frustum association 모듈이 그 박스의 3D 원뿔 안에 들어온 레이더 검출을 객체에 배정하고 레이더 특징맵을 생성한다 → 이미지 특징과 레이더 특징을 concat해 2차 회귀 헤드가 깊이·회전을 다시 계산하고 속도·속성을 새로 추정한다. 카메라 특징 자체는 손대지 않는 중간 융합이다.
• 진짜 난제는 데이터 연관(association): 레이더 점을 2D 이미지 위에서 매칭하면 겹친 객체에서 무너진다. 대신 3D 원뿔(RoI frustum)로 자르면 객체들이 3D 공간에서 이미 분리돼 있어 겹침 문제가 사라지고, 원뿔 안에서 가장 가까운 점 하나만 취하는 것으로 한 객체에 여러 검출이 붙는 다중 매칭 문제도 자동으로 제거된다.
• Pillar Expansion(기둥 확장): 레이더의 높이(z) 정보가 부정확해 점이 자기 객체의 원뿔 밖으로 떨어지는 일이 생긴다. 이를 해결하려 각 레이더 점을 [0.2, 0.2, 1.5] m 기둥으로 부풀려, "기둥의 일부라도 원뿔 안에 있으면 포함"으로 판정한다. 테스트 단계에서는 예비 깊이 추정의 오차를 감안해 원뿔을 δ=20% 확장한다.
• 특징맵 생성: 배정된 레이더 점의 깊이·속도 값을 채운 2D 박스를 히트맵 채널로 만들어 이미지 특징에 추가한다. 속도 헤드는 차량 좌표계의 x·y 성분을 직접 회귀하고, 속성 헤드는 Car의 moving/parked, Pedestrian의 standing/sitting 같은 상태를 추정한다.
• 시간 누적 없이 속도: 레이더는 도플러 효과로 모든 검출의 속도를 즉시 측정한다(자차 운동 보상, 최근 0.25초 3 스윕 집적). 카메라·라이다는 속도를 얻으려면 프레임 누적이 필요한데, 그 지연이 시간-임계(time-critical) 상황에서 문제가 된다는 것이 논문의 출발점이다.
• 학습 설정: 공개 CenterNet(DLA, 140 epoch) 모델에 속도·속성 헤드를 30 epoch 붙인 것을 베이스라인으로 삼고, 2차 회귀 헤드를 이미지+레이더 특징으로 추가 60 epoch 학습(batch 26, NVIDIA P5000 2장, 입력 1600×900 → 800×450).
• 성능(nuScenes): val에서 NDS 0.328 → 0.453, mAP 0.306 → 0.332, 속도 오차 mAVE 1.426 → 0.540, 속성 오차 mAAE 0.658 → 0.142. test에서 NDS 0.449 / mAP 0.326 — 카메라 전용 CenterNet(HGLS) 0.400/0.338, MonoDIS 0.384/0.304와 비교된다.
• 어블레이션(Table 3, val): Pillar Expansion만으로 NDS +15.4%, Frustum Association까지 +34.5%, Flip Test까지 +37.8%. 속도 오차 개선폭은 -13.1% → -61.9%로 커진다 — 이득의 대부분이 "레이더를 어떻게 붙였는가"에서 나온다는 것을 보여주는 표다.
• 정직한 한계: mAP 이득은 +8.4%로 작고, test split에서는 카메라 전용 CenterNet(HGLS)보다 mAP가 오히려 낮다(0.326 vs 0.338). 클래스별 어블레이션에서 Bus는 -2.1로 후퇴한다. 레이더 점이 희소해 원거리 형상 정보는 여전히 부족하다.

왜 유명한가 / 활용 가치

• 레이더를 "실제로 쓴" 첫 표준 기준선: nuScenes에 레이더가 있는데도 대부분 연구가 카메라/라이다만 썼던 시기에, 카메라 전용 SOTA 대비 NDS +12%(논문 초록)를 레이더만 추가해 달성했다. WACV 2021 게재 이후 nuScenes 레이더-카메라 연구의 사실상 출발점으로 인용된다.
• 라이다 없이 속도를 얻는 경로: 충돌 회피에서 속도는 필수인데, 카메라·라이다는 시간 누적 없이는 속도를 못 낸다. 도플러를 쓰면 단일 프레임에서 속도가 나온다 — 인지 지연을 줄이는 설계로 직결된다.
• 악천후·원거리 최후의 센서: 레이더는 눈·안개·비에 강하고 자동차용 기준 최대 200 m까지 본다. 카메라·라이다가 무너지는 구간을 메우는 센서라는 점이, 센서 퓨전 연구의 실무적 명분이다.
• 재현 생태계가 실재한다: 공식 구현 ⭐643(MIT) + 사전학습 모델, 파생 CenterFusion++ ⭐77(frustum proposal 기반 재설계), TensorRT 포팅 ⭐67(실차 지연 최적화). 논문만 있고 코드가 없는 연구와 달리 바로 돌려볼 수 있다.
• 동시대 연구와 함께 만든 흐름: RadarNet(ECCV 2020, 150회) 등과 함께 2020~2021년 "레이더 인지" 붐의 기준선을 이뤘고, 인용은 442회(S2) / 457회(OpenAlex).
• 2026년의 재조명: 4D 이미징 레이더가 양산 센서로 올라오면서 "저해상도 레이더 점으로 무엇을 할 수 있는가"라는 이 논문의 질문이 다시 유효해졌다. ADAS 양산 스택에는 레이더가 이미 ACC/AEB용으로 깔려 있으므로, 카메라 3D 검출을 소프트웨어만으로 보강하는 가장 저렴한 경로이기도 하다.

시사점 및 결론

CenterFusion의 교훈은 "센서를 많이 붙이면 좋아진다"가 아니다. 각 센서가 유일하게 잘하는 물리량을, 어느 단계에서 꽂을지를 정한 것이 핵심이다. 카메라는 의미와 형상을, 레이더는 도플러 속도와 거리를 담당한다. 이 논문은 둘을 얕은 특징 단계에서 만나게 하고, 깊이·속도·회귀라는 좁은 출력만 레이더에 위임한다. 그래서 백본을 갈아엎지 않고도 NDS가 38%(val) 올랐다.

두 번째 교훈은 지표 읽기다. NDS는 속도·속성 오차를 포함하므로 레이더 이득이 크게 보이지만, mAP만 보면 +4.3%이고 test split에서는 카메라 전용 모델에 뒤진다. "SOTA +12%"라는 문장은 어떤 지표에서인지까지 읽어야 한다. 2026년 현재 주류는 카메라-라이다-BEV 융합이지만, 4D 레이더와 저비용 ADAS에서는 이 논문이 정리한 데이터 연관(frustum association)과 기둥 확장(pillar expansion)이라는 두 문제가 여전히 실무 그대로 남아 있다.

함께 읽기: nuScenes · PointPillars · CenterPoint · PointRCNN · BEVFormer · BEVFusion · KITTI

원문: https://arxiv.org/abs/2011.04841 · 코드: https://github.com/mrnabati/CenterFusion · DOI: 10.1109/WACV48630.2021.00157

목록으로 돌아가기