자율주행 리서치 - BDD100K (CVPR 2020, UC Berkeley · Berkeley DeepDrive): '낮에 배운 모델은 밤에 무너진다' — 인용 3,215회, 10만 영상·1억 프레임·1,000시간으로 '데이터 다양성'을 일반화의 조건으로 못 박은 최대 규모 오픈 주행 데이터셋 (⭐575 · BSD-3-Clause)

주제 정보

핵심 내용

자율주행 데이터셋의 병목은 '양'이 아니라 다양성과 태스크 간 이질성이다. KITTI는 맑은 독일·미국 도로, Cityscapes는 독일 도시, nuScenes는 두 도시의 센서 스위트 — 대부분 특정 지역·날씨·시간대에 갇혀 있어, 그 위에서 학습한 모델은 새 조건에서 무너진다. BDD100K는 크라우드소싱으로 모은 10만 개 40초 영상에 날씨·시간대·장면 태그를 달고, 하나의 데이터로 10개의 이질적 태스크를 평가하는 최초의 대규모 벤치마크를 만들었다. "데이터 다양성이 곧 일반화"라는 명제를 벤치마크 위에서 정량화한 것이 이 논문의 몫이다.

• 10개 태스크를 한 데이터에: 장면 태깅 · 차선 검출 · 주행가능영역 분할 · 객체 검출 · 의미 분할 · 인스턴스 분할 · 다중객체 검출 추적(MOT) · 다중객체 분할 추적(MOTS) · 도메인 적응 · 모방 학습. 픽셀 수준부터 시간축·궤적 수준까지 서로 다른 출력 구조를 한 데이터셋에 모은 것이 핵심
• 규모(구체 수치): 영상 10만 개(각 40초, 고해상도) · 총 1,000시간+ · 1억 프레임+ · GPS/IMU 궤적. 검출은 10만 기준 프레임에 10개 클래스의 바운딩 박스(학습 7만 장), 의미 분할은 1만 장·40클래스, 인스턴스 분할 7천 장, MOT는 2,000영상·약 40만 프레임(5fps·영상당 약 200프레임), 차선 마킹 10만 장(KITTI-ROAD 7만 장 대비)
• long-tail 분포: 차량 인스턴스는 수만~수십만 개인 반면 트레일러·기차는 수십 개에 불과하다. 인스턴스의 약 절반이 가림(occluded), 약 7%가 잘림(truncated) — 실제 도로의 꼬리 분포를 그대로 담았다
• 다양성을 '측정 가능'하게: 6개 날씨 조건과 주·야간 영상을 균형 있게 수집했다. 그래서 "학습한 도메인을 바꾸면 성능이 얼마나 떨어지는가"를 실험으로 물을 수 있다
• 도메인 격차 실험(Table 4): Faster-RCNN/ResNet-50을 도메인당 3만 장으로 학습해 같은 클래스의 AP를 비교했다. 논문의 결론 그대로 — "도시-비도시 격차도 유의하지만, 주간-야간 격차가 훨씬 크다." 같은 모델·같은 객체인데 낮에 학습한 것이 밤에 급락한다
• Cityscapes 교차 실험: 독일 Cityscapes로 학습한 모델은 미국의 교통표지판을 인식하지 못했다(Fig 9). 기존 데이터셋의 도메인에서조차 새 데이터가 상호 보완적임을 보여준다
• 이종 멀티태스크가 이득이라는 증거: 주행가능영역＋차선처럼 출력 구조가 비슷한 '동종' 태스크를 묶으면 이득이 미미했지만, 검출＋인스턴스 분할을 함께 학습하면 AP가 21.8 → 24.5(Table 6), 검출＋MOT를 함께 학습하면 AP가 28.1 → 30.7(Table 7)로 올랐다. 논문은 이를 "이질적 태스크일수록 결합 학습이 유효하다"는 근거로 쓴다
• 주석 툴링도 기여: 초기 제목(arXiv v1)은 "A Diverse Driving Video Database with Scalable Annotation Tooling"이었다 — 대규모 크라우드 주석을 가능케 한 도구 자체가 연구 산출물의 일부였다

왜 유명한가 / 활용 가치

• 인용 3,215회(S2) / 2,486회(OpenAlex): KITTI·nuScenes·Waymo와 어깨를 나란히 하는 최다 인용 주행 데이터셋. 특히 "데이터셋 편향·도메인 시프트"를 측정 대상으로 끌어올린 초기 대표작이라는 점이 인용의 성격을 만든다
• CVPR 2020 Oral + 완전 공개: ⭐575 툴킷(BSD-3-Clause)과 함께 데이터·주석·평가 코드와 문서를 공개하고 2024년까지 유지했다. '데이터만 배포'가 아니라 재현 가능한 파이프라인을 준 것이 채택률을 끌어올렸다
• 10개 태스크 통합 벤치마크: 검출·분할·추적·차선·주행가능영역·모방 학습을 한 데이터에서 평가하게 해, 여러 논문이 같은 데이터로 비교되는 '공통 무대'를 만들었다 — 멀티태스크·연합 학습 연구의 표준 출발점
• 견고성 연구의 토양: 이 데이터가 없으면 "안개·비·야간에서 인식이 무너진다"는 결과를 같은 조건에서 비교하기 어렵다. Robust Physical-World Attacks(09-28)가 "입력을 조작하면 무너진다"를 보였다면, BDD100K는 "날씨·시간대만 바뀌어도 무너진다"를 보인다 — 둘 다 인식 스택의 신뢰 가정을 문제 삼는다
• 이 블로그 계보와 맞물린다: Lift, Splat, Shoot(08-27)·BEVFormer(08-17)·CenterPoint(09-10) 같은 인식 모델의 학습·평가 데이터이고, KITTI(09-11)·nuScenes(08-24)·Waymo Open(09-15)와 함께 '데이터셋 3·4강'을 이룬다. 차선 마킹 벤치마크는 차선 검출(09-24) 계보와, 궤적·행동 과제는 UniAD(08-12)의 모방 학습 축과도 연결된다
• 활용 가치: ① 도메인 일반화·견고성 벤치마크의 표준 데이터, ② 이질적 멀티태스크·연합 학습 연구, ③ 롱테일·가림(occlusion) 검출 연구, ④ GPS/IMU 기반 모방 학습·궤적 예측, ⑤ 데이터 편향을 측정하려는 모든 데이터 큐레이션 연구
• 한계(정직하게): 대부분 미국(뉴욕·베이 에어리어) 데이터라 지역 다양성은 제한적이고, 영상 라벨은 크라우드소싱 특성상 노이즈가 있다. 또 2018~2020년 데이터라 최근의 대규모 멀티모달·파운데이션 모델 학습 규모와는 층위가 다르다 — '지도의 완성'이 아니라 '문제 제기의 원형'으로 읽어야 한다

시사점 및 결론

BDD100K가 남긴 것은 "데이터를 더 모아라"가 아니라 "다양성을 설계하라"이다. 같은 모델·같은 클래스인데 학습한 날씨·시간대·지역이 바뀌면 성능이 무너진다는 사실을, 논문은 벤치마크 위에서 정량적으로 보여줬다. 2018~2020년의 이 관찰은 이후 '도메인 일반화·코너케이스·롱테일' 연구의 출발점이 됐고, 오늘날 대규모 주행 데이터와 파운데이션 모델 경쟁의 문제의식과 정확히 이어진다.

2026년의 관점에서 BDD100K는 라벨의 '양'이 아니라 분포를 사는 투자다. 이 블로그의 다른 데이터셋 글들이 각각 기하(KITTI)·센서(nuScenes)·규모(Waymo)·협력(V2X)을 대표한다면, BDD100K는 다양성과 이질적 태스크를 대표한다. 그리고 "학습 분포와 다른 조건에서 모델이 얼마나 버티는가"라는 이 질문은, 어떤 데이터를 어떻게 골라 학습시킬 것인가 — 즉 데이터 큐레이션의 품질 문제와도 같은 뿌리를 공유한다. 인식 모델 하나를 평가할 때 "어떤 조건에서 학습했고, 어떤 조건에서 몇 점이 나오는가"를 함께 적는 습관을 이 데이터셋이 대중화했다.

원문: 논문 arXiv 1805.04687 · 게재본 CVPR 2020 Open Access · 데이터/툴킷 https://github.com/bdd100k/bdd100k

목록으로 돌아가기