주제 정보
- 유형: 논문 (CVPR 2020) + 공식 데이터셋·devkit — 자율주행 3D 인식·추적·행동예측의 '업계 규모' 벤치마크. 한 회사의 실주행 플릿 기록을 비상업 연구용으로 개방한 사례로, 지금은 Perception / Motion / End-to-End 3종으로 확장됐다
- 제목: "Scalability in Perception for Autonomous Driving: Waymo Open Dataset"
- 저자 / 소속: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, … Yin Zhou, Yuning Chai, … Hang Zhao, … Jonathon Shlens, Zhifeng Chen, Dragomir Anguelov (총 25인) — Waymo LLC
- 게재지: CVPR 2020 (arXiv 최초 투고 2019-12-10, 최종 개정 2020-05-12 · 분야 cs.CV · cs.LG · stat.ML)
- 인용: OpenAlex 기준 3,233회 (2026-09-15 확인) — 데이터셋 논문으로서는 이례적인 인용 규모로, 3D 검출·추적·예측 논문들이 거의 예외 없이 이 데이터셋을 기준선으로 보고한다
- 공식 저장소: waymo-research/waymo-open-dataset — ⭐3,409 / fork 699 / Python / 최근 푸시 2026-01-08 / 토픽
autonomous-driving·dataset. 최근 릴리스 v1.6.1 (2023-12, devkit) - 라이선스: 비상업 연구용 (Waymo Open Dataset License Agreement) — OSI 표준 라이선스가 아니라 GitHub에는
NOASSERTION(커스텀)으로 표기된다. 데이터 접근은 Google 계정 로그인 필요 - 규모 ①(최초 공개판, 2019/2020): 1,150 씬 × 20초(10Hz), LiDAR 5대 + 카메라 5대, 주석 라이다 프레임 230K, 3D 박스 약 1,200만 · 2D 박스 약 990만, 라이다 객체 트랙 113K, 총 6.4시간, 방문 면적 76 km²
- 규모 ②(현재, 2026-09 확인): Perception 2,030 세그먼트 = 39만 프레임(2024-03 업데이트, v1.4.3/v2.0.1, 3D 시맨틱 세그멘테이션 라벨은 1,150 세그먼트·23 클래스) · Motion 103,354 세그먼트(2,000만 프레임 이상, 574시간, 객체 1,080만, 2025-10 업데이트) · End-to-End 5,000 세그먼트(360° 카메라 + 경로 지시)
- 벤치마크: WOD 챌린지 4종 — Interaction Prediction / Sim Agents / Scenario Generation / Vision-based E2E Driving. 2025년 대회는 5월 22일 종료됐고 리더보드는 계속 열려 있다
- 원문: https://arxiv.org/abs/1912.04838
핵심 내용
자율주행 연구의 병목은 오랫동안 데이터였다. 알고리즘은 논문으로 공유되지만, 실제 도로에서 수집한 센서 데이터와 라벨은 각 회사의 자산이었다. Waymo Open Dataset은 이 벽을 정면으로 겨냥한 논문이다. 논문의 제목부터가 "인식의 확장성(Scalability)"이며, 기여의 절반은 모델이 아니라 공개한 데이터의 물량과 다양성이다. 실제로 이 데이터셋은 이후 6년간 3D 검출·추적·예측 논문의 공용 실험대가 됐다.
- Geographic diversity가 이 논문의 핵심 주장: 저자들은 단순 프레임 수가 아니라 지리적 커버리지를 새 지표로 정의하고, 기존 최대 카메라+라이다 데이터셋보다 15.2배 넓은 영역을 담았다고 주장한다. 도시별로 분포가 다른 지역(도심·교외)을 모두 담아 도메인 갭·도메인 적응 연구를 가능하게 만든 것이 요점이다.
- 센서 구성(논문 기준): 미드레인지 360° LiDAR를 포함해 LiDAR 5대와 고해상도 카메라 5대를 플릿에 장착했다. 라이다는 첫 두 번의 리턴을 제공하고, 데이터 범위는 75m로 제한된다. 카메라 이미지는 1920×1280, 수평 화각 ±25.2°, 롤링 셔터 보정을 반영한 투영 라이브러리를 함께 제공한다. 프레임당 평균 포인트 수는 약 177K다.
- 2D·3D를 동시에, 그리고 트랙 ID까지: 라이다에는 조밀한 3D 박스, 카메라에는 2D 박스를 독립적으로 주석하고, 모든 박스에 프레임 간 일관된 식별자(track ID)를 붙였다. 덕분에 하나의 데이터셋으로 2D/3D 검출과 추적을 모두 평가할 수 있고, 3D 박스에서 2D amodal 박스를 끌어내는 도구까지 제공해 센서 퓨전 연구를 지원한다.
- 주석 품질을 프로세스로 증명: 생산 수준 라벨링 도구와 숙련 주석자를 투입하고 여러 단계의 검증을 거쳤다고 명시한다. 라벨은 난이도(LEVEL_1/LEVEL_2)를 나눠, KITTI와 비교 가능한 난이도 체계도 갖췄다.
- 규모 비교표(논문 Table 1): 데이터셋 선택의 근거가 한눈에 드러난다.
| KITTI | nuScenes | Argoverse | Waymo (2019) | |
|---|---|---|---|---|
| 씬 수 | 22 | 1,000 | 113 | 1,150 |
| 주석 라이다 프레임 | 15K | 40K | 22K | 230K |
| 수집 시간(h) | 1.5 | 5.5 | 1 | 6.4 |
| 3D 박스 | 80K | 1.4M | 993K | 12M |
| 2D 박스 | 80K | – | – | 9.9M |
| LiDAR 수 / 카메라 수 | 1 / 4 | 1 / 6 | 2 / 9 | 5 / 5 |
| 프레임당 평균 포인트 | 120K | 34K | 107K | 177K |
| 지도(map) 제공 | 아니오 | 예 | 예 | 아니오 |
| 주행 면적(km²) | – | 5 | 1.6 | 76 |
- 분할과 재현성: 학습 798 / 검증 202 / 테스트 150 씬으로 고정 분할을 제공하고, 2D·3D 검출 및 추적 베이스라인을 함께 공개했다. 또한 데이터 크기를 늘리면 3D 검출 성능이 어떻게 변하는지, 그리고 지역이 바뀌면 성능이 얼마나 떨어지는지(일반화)를 직접 실험해 보고한다. "스케일이 곧 성능"이라는 명제를 자기 데이터로 검증한 셈이다.
- 정직한 한계: 당시 공개판은 지도(map) 정보를 포함하지 않았고, 라이다 라벨은 차량 기준 75m 반경으로 제한된다. 또한 카메라 박스는 이미지 평면 기준이라 3D와의 정합에는 제공된 투영 도구가 필요하다. 라벨은 SUV·트럭 등 세부 차종 구분 없이 차량/보행자/자전거 중심 3클래스 체계로 시작했다.
- 지금은 3종 데이터셋으로 진화: ① Perception(2,030 세그먼트 · 39만 프레임 · 23클래스 시맨틱 세그멘테이션 · 14키포인트 라벨), ② Motion(103,354 세그먼트 · 2,000만 프레임 · 차량/보행자/자전거 3D 박스 1,080만 객체 — 비보호 좌회전·합류·차선변경·교차로 같은 상호작용 장면을 골라 채굴), ③ End-to-End Driving(360° 카메라 5,000 세그먼트 + 경로 지시). 2025년 10월에는 Motion의
sdc_paths(자차 계획 경로)가 공개됐다.
왜 유명한가 / 활용 가치
- 인용 3,200회·리더보드 표준: 데이터셋 논문이 3,000회 이상 인용되는 경우는 드물다. 이는 이 데이터셋이 단순한 부가 실험이 아니라, 3D 인식 논문의 주 평가 무대가 됐다는 뜻이다.
- '산업 규모 데이터'를 공개하는 첫 시도 중 하나: Waymo는 로보택시 플릿을 실제로 운영하는 회사다. 그 플릿이 수집한 데이터를 비상업 연구용으로 개방한 것은, 상업적 경쟁과 연구 생태계 사이의 현실적인 타협점을 보여준 사례다. 완전한 오픈 라이선스는 아니지만(로그인 + 연구 전용), 학계가 접근할 수 있는 실주행 데이터의 기준선을 크게 끌어올렸다.
- 평가 도구까지 함께 공개: devkit·metrics 코드·Colab 튜토리얼·라벨링 스펙을 모두 공개해 지표의 표준화를 이뤘다. "각자 다른 코드로 계산한 mAP를 비교하는" 혼란을 없앤 것이 이 생태계의 실질적 기여다.
- 이 블로그의 흐름과 이어진다: KITTI(2026-09-11)가 "공개 데이터로 연구를 가능하게 한 원조"라면, nuScenes(2026-08-24)는 3D 인식 표준을 세웠고, Waymo Open Dataset은 그 표준을 15배 넓은 영역과 12배 많은 라벨로 다시 정의했다. CenterPoint(2026-09-10)가 nuScenes·Waymo SOTA를 세운 검출기이고, ChauffeurNet(2026-09-08)은 같은 Waymo의 실차 주행 정책 연구다.
- 지금도 활발히 갱신되는 살아있는 벤치마크: Perception(2024-03), Motion(2025-10)까지 지속 업데이트되고, Sim Agents(닫힌 루프 시뮬레이션 에이전트)와 Vision-based E2E Driving(2024 신설) 같은 새 트랙이 계속 추가된다. LMDrive(2026-09-12)·DiffusionDrive(2026-08-31) 같은 end-to-end 주행 연구의 평가 축이 바로 이 E2E 트랙이다.
- 실무·교육 가치: devkit이 Python으로 제공되고 Colab 튜토리얼만 열면 데이터 포맷을 바로 익힐 수 있다. 3D 검출·추적·행동예측·시뮬레이션 에이전트까지 한 데이터셋 위에서 전 스택을 실험할 수 있는 몇 안 되는 공개 자원이다. 단, 데이터 접근에 Google 로그인과 비상업 라이선스 동의가 필요하고, 저장소 이슈가 460여 건 쌓여 있어 개별 문의보다는 공개된 스펙·튜토리얼을 먼저 읽는 편이 빠르다.
시사점 및 결론
Waymo Open Dataset의 교훈은 "데이터의 스케일과 다양성이 곧 인식 성능의 상한"이라는 것이다. 논문은 성능 수치를 자랑하기보다, 씬 1,150개·라벨 1,200만 개·76 km²라는 물량과 15.2배의 지리적 다양성을 먼저 내세운다. 그리고 실제로 그 데이터가 있어서 3D 검출기들이 서로 비교될 수 있었고, 지역이 바뀌면 성능이 무너진다는 일반화 문제가 공통 의제가 됐다. 즉 이 논문의 진짜 유산은 특정 모델이 아니라 비교 가능한 실험대다.
동시에 비상업 라이선스라는 선택은 산업 데이터 공개의 경계를 그대로 보여준다. 데이터는 열려 있지만 상업적 활용은 닫혀 있고, 저장소의 릴리스(v1.6.1, 2023-12)와 데이터 갱신 주기가 어긋나듯 devkit과 데이터는 서로 다른 속도로 움직인다. 그럼에도 KITTI의 22개 씬에서 시작한 공개 데이터 문화가 오늘날 수십만 프레임·수천만 라벨 규모로 커졌다는 사실은 분명한 진전이다. 자율주행을 공부한다면, 최신 모델 구조를 좇기 전에 이 데이터셋의 씬·라벨·평가 지표가 어떤 가정 위에 서 있는지를 한 번 정리해 두는 것이 오래 남는다. 한 줄 요약: "알고리즘보다 먼저 데이터를 공개하라 — 3,200회 인용된 그 선택이 3D 인식 연구의 공용 실험대를 만들었다."
함께 읽기: KITTI (2026-09-11) · nuScenes (2026-08-24) · CenterPoint (2026-09-10) · ChauffeurNet (2026-09-08) · VectorNet (2026-09-02)
원문: https://arxiv.org/abs/1912.04838 (CVPR 2020 · Pei Sun 외 25인, Waymo LLC · 데이터 waymo.com/open · 코드 github.com/waymo-research/waymo-open-dataset)