주제 정보
- 논문(본편): “YOLOP: You Only Look Once for Panoptic Driving Perception” — arXiv 2108.11250(v1 2021-08-25 · v7 2022-03-26) · Machine Intelligence Research(MIR) 2022 pp. 1–13(DOI
10.1007/s11633-022-1339-y) · 분야cs.CV. 논문이 던지는 한 줄 문제는 “카메라 영상 한 장에서 교통 객체·주행가능영역·차선을 동시에, 그것도 임베디드 실시간으로 뽑을 수 있는가”다. - 저자·소속: Dong Wu · Manwen Liao · Weitian Zhang · Xinggang Wang · Xiang Bai · Wenqing Cheng · Wenyu Liu — School of EIC, Huazhong University of Science and Technology(HUST, 화중과기대). 논문의 실행 환경은 입력 1280×720 → 640×384 축소, 실험은 전부 NVIDIA GTX TITAN XP 1장에서 수행됐다.
- 인용(인덱스 명시): OpenAlex 464회(MIR 2022 정간물 레코드) + 정정본(Correction) 5회. 후속·형제 논문은 OpenAlex 기준 YOLOPv2 51회(arXiv 레코드) · HybridNets 84회, 파생 Q-YOLOP(ICMEW 2023, 양자화 인식 학습) 6회. 주의: Crossref 제목 검색은 본편 대신 파생 논문 Q-YOLOP의 DOI(
10.1109/icmew59549.2023.00015)를 반환했기 때문에, 이 글의 본편 인용 수치는 OpenAlex 정간물 레코드만 사용했다. - 공식 저장소: hustvl/YOLOP — ⭐2,249 · 🍴457 · MIT · Python · 생성 2021-08-25 · 마지막 푸시 2023-10-20(README 갱신이 마지막, 사실상 코드 동결) · 릴리스 태그 없음(사전학습 가중치로 배포) · 저장소 토픽:
multitask-learning·jetson-tx2·lane-detection·drivable-area-segmentation·object-detection. - 계보(3형제): CAIC-AD/YOLOPv2(⭐695 · MIT · 릴리스 V0.0.1 · arXiv 2208.11434, 2022-08-24) · datvuthanh/HybridNets(⭐689 · MIT · v1.0 · arXiv 2203.09035, 2022-03-17). 세 저장소 모두 MIT라 상용 재사용 제약이 없다 — 3형제가 서로의 비교표에 등장하는 소분야가 바로 panoptic driving perception이다.
핵심 내용
YOLOP는 인코더 하나 + 디코더 셋 구조의 파노픽(panoptic) 주행 지각망이다. 공유 인코더가 특징을 뽑고, 검출 헤드·주행가능영역 세그멘테이션 헤드·차선 분할 헤드가 한 번의 forward pass로 동시에 답을 낸다. 10만 프레임·10개 과제 주석을 가진 BDD100K에서 세 과제 모두 당시 최고 정확도·속도를 주장하며, 저자들은 “이 세 가지 시각 지각 과제를 임베디드 기기(Jetson TX2)에서 동시에 실시간 처리한 첫 사례”라고 못 박는다.
- 교통 객체 검출: Recall 89.2% · mAP50 76.5 @ 41 FPS — 비교군은 DLT-Net 89.4/68.4 @9.3 FPS, MultiNet 81.3/60.2 @8.6 FPS, YOLOv5s 86.8/77.2 @82 FPS. mAP50은 YOLOv5s에 0.7 뒤지지만, 그 한 번의 추론이 세 과제를 동시에 낸다.
- 주행가능영역 세그멘테이션: mIoU 91.5 @ 41 FPS — 전용 세그멘테이션망 PSPNet 89.6 @11.1 FPS보다 1.9 높으면서 3.7배 빠르고, MultiNet 71.6 · DLT-Net 71.3과는 20점 차이다.
- 차선 검출: Accuracy 70.50% · IoU 26.20 @ 41 FPS — 경량 차선 전용망(ENet 34.12/14.64 @100 FPS · SCNN 35.79/15.84 @19.8 · ENet-SAD 36.56/16.02 @50.6) 대비 정확도가 두 배다. IoU 26.2가 낮아 보이는 것은 BDD100K 차선이 2픽셀 폭으로 평가되는 규약 때문이며, 논문도 이 지표를 그대로 인용한다.
- 임베디드 실시간: 프레임당 24.4 ms(GTX TITAN XP, 41 FPS)로, 같은 조건에서 R-CNNP 계열 다중과제망은 103.3 ms/frame에 그친다. Jetson TX2에서는 23 FPS — 논문 제목의 ‘실시간’은 데스크톱이 아니라 차량 탑재 보드 숫자다.
- 다중과제 학습이 이긴다(Table 5): 단독 학습 시 Det(only) Recall 88.2 · mAP 76.9, Seg(only) mIoU 91.6 → 합동 학습 시 89.2 · 76.5 · 91.5(차선 Accuracy +0.6). 반면 R-CNNP 계열은 합동 학습에서 성능이 떨어졌다(Recall −1.8 · mAP −4.7 · mIoU −3.4). 같은 구조가 아니라 같은 손실 함수 설계가 공유를 가능하게 했다는 것이 이 논문의 실험적 핵심이다.
- 학습 레시피: Adam(lr 0.001 · β 0.937/0.999) + warm-up·cosine annealing, k-means 앵커, 데이터 증강. 논문은 end-to-end 외에 단계적 학습 패러다임(인코더+검출 → 인코더 동결 후 세그멘테이션 헤드 → 전체 합동)까지 실험해 절차를 알고리즘으로 남겼다.
- 후속 YOLOPv2의 가격표: 파라미터 7.9M → 38.9M, 추론 49 → 91 FPS(NVIDIA TESLA V100), mAP50 83.4 · 주행영역 mIoU 93.2 · 차선 Accuracy 87.31 — “이전 SOTA 대비 추론 시간 절반”이 초록의 주장이다. 대신 차선 IoU는 26.20 → 27.25로 거의 그대로, HybridNets(차선 Accuracy 85.40 · IoU 31.60)와는 다른 트레이드오프를 택했다.
왜 유명한가 / 활용 가치
- ‘세 망’을 ‘한 망’으로 바꾼 시스템 논문: L2 ADAS에서 검출·차선·주행영역을 각각 돌리면 지연·전력·비용이 3배가 된다. YOLOP은 그 비용 구조를 한 번의 추론으로 접었고, 그 대가가 임베디드 23 FPS라는 실측 숫자로 남았다. ⭐2,249 · OpenAlex 464회는 정확도가 아니라 이 시스템적 선택의 시장 가격이다.
- 임베디드 ADAS의 사실상 기준 구현: 저장소 토픽 자체가
jetson-tx2·multitask-learning·lane-detection— Jetson 계열 보드로 차선유지·주행가능영역을 실습할 때 가장 먼저 복제되는 참조 구현이다. 차선 축의 Ultra-Fast-Lane-Detection(⭐2.1k, MIT)와 함께, 이 소분야에서 라이선스가 깨끗한 두 축을 이룬다. - 데이터셋 논문과 구현체의 짝: BDD100K(10만 영상·1억 프레임, CVPR 2020)가 ‘낮에 배운 모델은 밤에 무너진다’를 정량화한 정답지라면, YOLOP는 그 정답지 위에서 실제로 돌아가는 다중과제망이다. 벤치마크와 구현체를 함께 읽어야 세 과제의 난이도 차이가 보인다 — 검출 89.2 vs 차선 70.5가 그 증거다.
- 파생 생태계: Q-YOLOP(ICMEW 2023)는 YOLOP을 양자화 인식 학습으로 다시 학습해 임베디드 배포를 겨냥했고, 2024년 서베이 “Panoptic Perception for Autonomous Driving”이 이 계열을 정리했다. HybridNets → YOLOPv2 → YOLOP 3자 비교표는 이후 논문들의 사실상 표준 비교 기준이 됐다.
- 한계도 그대로 기록됨: 코드는 2023-10-20 이후 동결(PyTorch 버전·CUDA 호환은 사용자 몫), 릴리스 태그도 없다. 그리고 한 망의 실패는 세 과제를 동시에 무너뜨린다 — 비·안개에서 DNN 주행망이 무너지는 조건은 DeepTest(ICSE 2018)가 이미 실측으로 보여줬다. 통합의 이득과 통합의 리스크가 같은 구조에서 나온다.
시사점 및 결론
2026년의 자율주행 담론은 언어·VLA 기반 end-to-end(LMDrive · DriveLM · Alpamayo)와 3D 점유(TPVFormer) 쪽으로 옮겨 갔지만, 양산 L2의 카메라 지각은 여전히 이런 경량 다중과제망이 담당한다. YOLOP가 남긴 교훈은 정확도 경쟁이 아니라 “한 번의 추론으로 몇 개의 과제를 뽑는가”라는 시스템 설계의 문제다 — Table 5의 결과(합동 학습이 단독 학습을 앞선다)는 오늘날 지각·예측·계획을 한 망으로 합치는 흐름(UniAD · SparseDrive)의 카메라 지각 버전으로 읽을 수 있다. 반대로 BEVFormer · BEVFusion · TPVFormer로 이어지는 3D 인식 계보와 MapTR의 HD맵 생성은 YOLOP가 다루지 않은 축이고, 두 계보는 경쟁이 아니라 역할 분담이다. 640×384 입력 · TITAN XP 41 FPS · Jetson TX2 23 FPS라는 숫자는 2021년 임베디드 현실의 스냅샷이고, 그 위에서 후속(YOLOPv2 91 FPS)과 3D 계열이 갈라져 나갔다. 논문 한 편을 읽는 것보다 README의 파이프라인 하나를 돌려보는 것이 빠르고, 이 저장소는 2026년에도 그대로 돌아간다.
원문: https://arxiv.org/abs/2108.11250(YOLOP, MIR 2022) · https://arxiv.org/abs/2208.11434(YOLOPv2, 2022) · 코드: https://github.com/hustvl/YOLOP
목록으로 돌아가기