자율주행 리서치 - MMDetection3D (OpenMMLab, 2020–2024): '재현의 공용 인프라' — 27개 알고리즘 패밀리·8개 데이터셋을 한 코드베이스로 묶고 VoteNet 학습을 4.6배 빠르게 만든 3D 인지 표준 툴박스 (⭐6,556 · Apache-2.0 · v1.4.0)

주제 정보

핵심 내용

MMDetection3D의 본질은 알고리즘이 아니라 ‘재현 비용의 표준화’다. 3D 검출 연구의 실제 병목은 모델 아이디어가 아니라 데이터셋마다 다른 좌표계·클래스 정의·평가 프로토콜이었다. 이 툴박스는 8개 데이터셋을 하나의 Dataset/Pipeline 추상으로 감싸고, 카메라·라이다·ego 좌표 변환 규약을 문서로 고정한 뒤, 모든 모델을 config 한 장으로 재현되게 만들었다. 그 결과가 “논문을 읽고 → config를 복사하고 → 같은 숫자가 나온다”는 워크플로다.

• 한 코드베이스에 3개 과제 축: (1) LiDAR 3D 검출 — PointPillars·SECOND·PointRCNN·PV-RCNN·CenterPoint·Part-A2·3DSSD·SASSD, (2) 카메라 3D 검출 — FCOS3D·PGD·SMOKE·MonoFlex·ImVoxelNet·BEV 계열(MV-FCOS3D), (3) 3D 의미 세그멘테이션 — PointNet++·SSN·Cylinder3D·SPVCNN·MinkUNet·DGCNN. 여기에 mvxnet(라이다+카메라)와 votenet/groupfree3d/h3dnet(실내)까지 같은 인터페이스로 들어온다.
• 실내·실외 혼재: 실외(KITTI·nuScenes·Waymo·Lyft)와 실내(ScanNet·SUN RGB-D·S3DIS)를 한 저장소에서 다룬다. 3D 검출 툴박스가 대개 실외 자율주행에만 특화된 것과 갈리는 지점이며, 그래서 주차장·실내 물류 로봇 쪽 실습에도 그대로 쓰인다.
• 학습 속도를 4.6배로: README의 비교표는 “정확도가 같다면 누가 더 빨리 도는가”를 정면으로 다룬다. VoteNet 358 vs 77 samples/s, PointPillars-3class 107 vs 44 — 연구 반복 횟수가 곧 논문 생산성인 분야에서 이 차이는 실험 한 사이클을 며칠에서 몇 시간으로 줄인다.
• 2D 생태계와의 직결: MMDetection의 백본·neck·loss·사전학습 가중치를 그대로 상속한다. “2D 검출기를 3D로 확장”하는 연구가 백본을 새로 학습시키지 않아도 되는 이유이고, MMDetection(⭐32,993) + MMCV(⭐6,482) + MMEngine(⭐1,500)로 이어지는 스택의 3D 입구다.
• 평가 프로토콜의 단일화: nuScenes의 mAP/NDS, Waymo의 공식 LEVEL 1/2, KITTI의 40점·11점 AP까지 데이터셋별 규약을 내부에서 처리한다. 논문 표를 그대로 재현하려는 사람에게는 평가 코드를 다시 짜지 않아도 된다는 뜻이고, 이게 인용 대신 star로 쌓인 실질적 가치다.
• 유지보수의 정직한 상태: 마지막 릴리스 v1.4.0(2024-01-08), 마지막 푸시 2024-07-10. 열린 이슈 658건은 커뮤니티가 여전히 이 코드베이스를 쓰고 있다는 신호이자, 1.x가 사실상 ‘완결 선언’된 상태라는 신호다. 최신 BEV·occupancy 흐름은 projects/나 외부 저장소(StreamPETR·SparseDrive 등)로 이동했다.

왜 유명한가 / 활용 가치

• 지난 글들의 논문이 전부 여기 config로 있다: PointPillars(CVPR 2019) · CenterPoint(CVPR 2021) · BEVFusion(ICRA 2023, projects/) · TPVFormer(CVPR 2023, projects/) · BEVFormer 계열의 백본·평가 코드. 개별 논문을 하나씩 재현하는 대신 한 저장소를 clone하면 그 계보 전체가 같은 좌표계에서 돌아간다 — 이 정리가 ⭐6,556의 실체다.
• OpenPCDet과의 축 분업: OpenPCDet(⭐5,737)이 라이다 전용·경량·단일 목적에 강하다면, MMDetection3D는 멀티모달 + 카메라 + 실내 + 2D 통합 + 학습 속도를 축으로 삼는다. 두 툴박스는 경쟁이 아니라 “라이다만 볼 것인가, 센서·과제를 넘나들 것인가”의 선택지다.
• Apache-2.0: 연구실 표준을 넘어 양산 파이프라인에 코드를 그대로 넣을 수 있는 몇 안 되는 3D 검출 스택이다. GPL 계열 SLAM 툴박스(ORB-SLAM3 · FAST-LIO)와 대비되는 지점이고, 그래서 기업 저장소 포크가 1,789개까지 쌓였다.
• “논문 → 코드” 승격 관문의 선례: TPVFormer·BEVFusion·DSVT가 정식 config로 올라오기 전 projects/에 먼저 구현됐다. 이 관문이 있었기에 새 논문이 나오면 “언제 mmdet3d에 들어오나”가 소분야의 사실상 성숙 지표가 됐다.
• 교육·온보딩 비용이 가장 낮다: 데이터 준비 스크립트 · 학습/평가 CLI · 3D 시각화 · 커스텀 데이터셋 가이드가 문서로 정리돼 있어, 3D 인지를 처음 시작하는 팀이 일주일 만에 KITTI 베이스라인 숫자를 손에 쥐는 경로로 쓰인다.

시사점 및 결론

2026년의 자율주행 연구는 end-to-end·VLA(LMDrive · Alpamayo)와 3D 점유(TPVFormer)로 무게중심을 옮겼지만, 그 모델들을 공정하게 비교하는 척도는 여전히 데이터셋·좌표계·평가 프로토콜의 통일 위에 서 있다. MMDetection3D는 알고리즘 경쟁에서 이긴 프로젝트가 아니라, 경쟁의 무대를 깔아준 프로젝트다 — 27개 알고리즘 패밀리, 8개 데이터셋, VoteNet 기준 4.6배의 학습 속도, Apache-2.0. 마지막 푸시가 2024-07이라는 사실은 이 툴박스의 쇠퇴가 아니라 “1.x 세대의 3D 인지 표준은 여기서 완결됐다”는 표시에 가깝다. 새 논문을 재현할 때 가장 먼저 확인할 것은 저자의 GitHub가 아니라, 이 저장소의 config 목록에 그 이름이 이미 있는지다. 그 확인 한 번이 며칠을 아낀다.

원문: https://github.com/open-mmlab/mmdetection3d · 문서: https://mmdetection3d.readthedocs.io/en/latest/ · 모델 주(Zoo): model_zoo.html

목록으로 돌아가기