주제 정보
- 프로젝트: NVlabs/alpamayo — NVIDIA Alpamayo 1 (구 Alpamayo-R1), 추론형 VLA(Vision-Language-Action) 주행 모델 공식 구현
- 소유자/라이선스: NVIDIA (NVlabs) · Apache-2.0 (추론 코드) / OpenMDW-1.1 (모델 가중치, HF 게이트)
- Star/포크: 2,014⭐ · 337 forks (2026-09-04 기준, 생성 2025-11-19)
- 최근 커밋: 2026-08-29 — diffusion expert용 bounded CUDA graph replay 추가 (#116) 등 활발한 유지보수
- 주요 기술: Vision-Language-Action · Chain-of-Causation 추론 · world models · end-to-end driving · trajectory prediction
- 논문: "Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail" (arXiv:2511.00088, 2025-10-30, cs.RO/AI/LG, NVIDIA 44인 — Yan Wang, Boris Ivanovic, Marco Pavone 등)
- 원문: https://github.com/NVlabs/alpamayo · https://arxiv.org/abs/2511.00088
핵심 내용
Alpamayo 1은 NVIDIA가 2026년 1월 CES에서 발표한 자율주행용 추론형 VLA 모델로, '왜 그렇게 주행하는가'를 설명하는 추론(사고사슬)과 실제 주행 궤적 생성을 하나의 모델로 결합한다. 모방학습 기반 end-to-end 주행이 롱테일(희귀·위험) 상황에서 취약한 원인을 '인과적 이해 부족'으로 보고, 결정에 정렬된 인과 추론 데이터(CoC)를 만들어 해결하려는 접근이다.
- Chain-of-Causation(CoC) 데이터셋: 자동 라벨링 + 사람 검수(HITL) 하이브리드 파이프라인으로, 주행 행동과 인과적으로 연결된 결정 근거형 추론 트레이스를 구축 — 단순 주행 영상이 아니라 '이런 상황이라서 이렇게 판단했다'는 설명까지 포함
- 모듈형 VLA 아키텍처: Physical AI용으로 사전학습된 Cosmos-Reason 비전-언어 백본 + 실시간으로 동역학적으로 타당한 궤적을 생성하는 diffusion 기반 트래젝토리 디코더(액션 전문가) 결합 — 멀티카메라 영상과 자차 이고모션(egomotion) 이력을 입력으로 6.4초 호라이즌·64 웨이포인트(10Hz) 궤적을 출력
- 다단계 학습: ① SFT로 추론 능력 유도 → ② RL(강화학습) 후학습으로 추론-행동 정합성(reasoning-action consistency) 강제 — 단, 이번 공개 10B 가중치는 SFT 단계까지만 포함(RL 가중치는 미공개, 코드는 Cosmos-RL 기반으로 제공)
- 검증 성능: 어려운 케이스에서 궤적 단독 베이스라인 대비 플래닝 정확도 최대 +12%, 폐루프 시뮬레이션에서 근접 충돌(close encounter)율 -35%, RL 후학습 시 추론 품질 +45%·추론-행동 정합성 +37%, 0.5B→7B 스케일링에서 일관된 성능 향상
- 실차 검증: 도심 실도로 주행 테스트에서 99ms 지연(실시간)으로 동작 확인 — 해석 가능한 추론과 정밀 제어의 결합으로 L4 자율주행으로 가는 실용 경로를 제시
왜 유명한가 / 활용 가치
- NVIDIA의 공식 VLA 주행 모델: CES 2026에서 발표된 자율주행용 파운데이션 모델로, 추론 코드(2,000+⭐)와 가중치(HuggingFace nvidia/Alpamayo-R1-10B, 게이트)를 모두 공개 — '말로 설명하며 운전하는' 모델 생태계의 기준점
- 추론(Reasoning)+행동(Action) 결합의 대표 사례: 이 블로그의 월드모델 계열(08-14 BrainWAM, 08-20 DA-WAM)과 짝을 이루는 NVIDIA판 접근 — '블랙박스 궤적 생성'을 넘어 의사결정 과정을 언어로 설명하는 해석 가능한 end-to-end 흐름의 정점
- 롱테일 문제에 대한 실용적 답: 라벨이 희귀한 안전-크리티컬 시나리오에서 모방학습이 무너지는 문제를, 자동라벨링+인간검수로 만든 인과 추론 데이터로 극복 — 데이터 효율과 안전 검증 가능성을 동시에 높이는 전략
- 에코시스템 확장: Physical AI AV 데이터셋(HF) 공개, SFT·RL 후학습 레시피는 NVlabs/alpamayo-recipes로 분리 운영, 차기 버전 Alpamayo 1.5도 출시(NVlabs/alpamayo1.5) — NVIDIA의 자율주행 파운데이션 모델 로드맵을 한눈에 보여줌
시사점 및 결론
Alpamayo 1은 자율주행 end-to-end 모델이 '성능' 다음 단계인 '설명 가능성과 안전성'으로 나아가는 흐름을 상징한다. RLHF로 정렬된 LLM처럼, 주행 모델도 단순히 궤적을 맞추는 것에서 나아가 결정 이유를 언어 추론으로 생성하고 이를 행동과 정합시키는 방향으로 진화하고 있다. 다만 README가 명확히 밝히듯 이 모델은 연구·벤치마킹용 파운데이션이지 완전한 주행 스택이 아니며, 실차 안전장치·자동차급 검증 없이는 상용 운행에 쓸 수 없다. '설명하는 AI 운전자'의 실용화는 여전히 검증·규제·안전 문화와 함께 성숙해야 할 과제로 남아 있다 — 그 출발선에 NVIDIA가 공개한 이 오픈소스가 자리잡고 있다.
원문: https://github.com/NVlabs/alpamayo (논문: arXiv:2511.00088)