주제 정보
- 유형: arXiv 논문 (Mobileye, 2017) — 화이트박스 형식(formal) 안전 모델 제안 + 그 모델을 만족하는 시스템 설계
- 제목: On a Formal Model of Safe and Scalable Self-driving Cars
- 저자: Shai Shalev-Shwartz, Shaked Shammah, Amnon Shashua (Mobileye) — Shalev-Shwartz는
Understanding Machine Learning교과서와 Pegasos(SVM)로 널리 인용되는 머신러닝 이론가, Shashua는 Mobileye 공동창업자·회장 - 분야:
cs.RO(primary) ·cs.AI·stat.ML - 게시일: 2017-08-21 (v1) · 최종 개정 2018-10-27 (v6)
- 인용: 885회 (Semantic Scholar, 2026-09-18 확인 · S2 제목 일치 검증)
- 핵심 산출물: RSS = Responsibility-Sensitive Safety — "책임 민감 안전" 모델
- 오픈소스 구현:
intel/ad-rss-lib— ⭐356 · 🍴141 · LGPL-2.1 · C++ · 2019-02-13 생성 · 2025-08-07 마지막 커밋 · 현재 아카이브 - 원문: https://arxiv.org/abs/1708.06374
핵심 내용
2017년 8월, Mobileye의 Shalev-Shwartz·Shammah·Shashua가 던진 질문은 딥러닝 자율주행 붐의 한가운데서 다소 이질적이었다. "자율주행차가 안전하다는 것을, 우리는 대체 어떻게 '증명'할 것인가?" 논문의 답은 인식(perception)이나 계획(planning) 성능을 올리는 것이 아니라, 안전을 수식으로 정의하는 것이었다. 저자들은 자율주행의 위기를 "누가 먼저 차를 내놓는가"가 아니라 안전 보증(safety assurance)의 표준화와 확장성(scalability) 두 축의 실패로 규정하고, 실패하면 업계가 "자율주행의 겨울(winter of autonomous driving)" — 1980년대 AI 겨울의 반복 — 로 갈 수 있다고 경고했다. 그들이 제안한 모델이 RSS(Responsibility-Sensitive Safety) 이며, 오늘날 자율주행 안전 표준화 논의의 출발점으로 남아 있다.
- 출발점 — '책임'은 도덕이 아니라 계산이다: RSS는 Duty of Care(주의 의무)를 수학적으로 해석한 모델이다. 차량이 무엇을 해서는 안 되는가를 먼저 정하고, 그 경계를 넘지 않으면 사고가 나더라도 그 차량에 책임이 없다고 말할 수 있게 만든다. 즉 "안전한 주행"을 사고 후의 과실 판정 기준과 같은 언어로 정의한 것이다.
- 상식 5개를 공리로: 논문은 5개의 "상식(common sense)" 규칙을 그대로 형식화한다 — ① 뒤에서 박지 마라(Do not hit someone from behind) ② 무모하게 끼어들지 마라(Do not cut-in recklessly) ③ 우선권은 주어지는 것이지 빼앗는 것이 아니다(Right-of-way is given, not taken) ④ 가시성이 제한된 영역을 조심하라(Be careful of areas with limited visibility) ⑤ 다른 사고를 내지 않고 피할 수 있다면 반드시 피하라(If you can avoid an accident without causing another one, you must do it).
- 핵심 수식 — 안전 종방향 거리: 가장 단순한 단일 차선 시나리오에서, 앞차
c_f뒤를 따르는c_r의 최소 안전거리d_min을 반응시간ρ, 최대 가속a_max,accel, 최소 제동a_min,brake, 최대 제동a_max,brake의 함수로 유도한다:
d_min = [ v_r·ρ + ½·a_max,accel·ρ² + (v_r + ρ·a_max,accel)² / (2·a_min,brake) − v_f² / (2·a_max,brake) ]₊
([x]₊ = max{x, 0}) — 항목별로 '반응하는 동안 달린 거리 + 반응 중 가속한 거리 + 감속해 멈출 때까지의 추가 거리 − 앞차가 제동으로 벌어주는 거리'를 뜻한다. 이 값보다 멀리 있으면, 앞차가 최대로 급제동해도 뒤차는 물리적으로 추돌하지 않는다. - Dangerous Situation → Proper Response: RSS의 두 핵심 정의는 '위험한 상황'(상대가 자기 행동만으로는 사고를 피할 수 없는 상태) 과 '적절한 대응'(일정 시간 안에 가속·제동 범위 내에서 그 상황을 벗어나는 행동) 이다. 차량은 위험한 상황을 만들지 않아야 하고, 만들어졌다면 적절한 대응을 해야 한다. 경계를 벗어나지 않는 한 그 외의 주행 전략은 자유다 — RSS는 계획기를 대체하는 것이 아니라 덮어쓰는 안전 봉투(safety envelope) 다.
- 왜 '형식'이어야 했나 — 유도적 검증: 블랙박스 신경망의 안전성은 사실상 수십억 마일을 돌려보는 것 외에 확인할 수 없다. RSS는 안전을 매 시점마다 국소적으로 검사 가능한 술어로 만들어, 시간·상대 차량 수에 대해 지수적으로 폭발하지 않고 귀납적으로(inductive) 증명되도록 설계됐다. 이것이 "화이트박스·해석 가능"을 강조한 이유다.
- 확장성(scalability)이 절반의 논지: 논문은 Part I(형식 모델)에 이어 Part II에서 수백만 대 양산에 맞는 시스템 설계를 다룬다 — 센싱 상태(sensing state)와 그 의미(semantics), 센서 커버리지·캘리브레이션·맵, 그리고 형식 모델을 실차에서 실시간 검증하는 구조까지. "안전하지만 비싼 해법은 확장되지 않고, 확장되지 않는 안전은 결국 사라진다"는 것이 논문의 논리다.
- 한계도 논문이 직접 밝힌다 — 파라미터 민감도: RSS의 보증은
ρ · a_max,accel · a_min,brake · a_max,brake값에 대한 가정 위에 서 있다. 뒤차는 "앞차가a_max,brake보다 강하게 제동하지 않는다"고 가정하는데, 앞차가 그보다 강하게 제동하면 귀납적 증명이 깨진다. 반대로a_max,brake를 매우 크게 잡으면 극단적으로 소극적인 주행이 된다(극한의a_max,brake = ∞는 안전거리를 사실상 무한으로 만든다). 즉 RSS는 '안전 대 처리량'의 트레이드오프를 파라미터로 노출시킨 모델이다. - 표준화를 명시적 목표로: 초록에서 저자들은 "모든 자율주행차가 만족해야 할 최소 요구사항은 무엇이고, 그것을 어떻게 검증할 것인가"를 논문의 두 축 중 하나로 못 박는다. RSS가 학술 아이디어에 머물지 않고 규격·표준 문서로 이어질 것을 전제로 쓰인 논문이라는 뜻이다.
왜 유명한가 / 활용 가치
- 885회 인용 — 안전 담론의 기준점: 2017년 논문이 9년 뒤에도 885회 인용을 유지한다는 것은, 후속 연구들이 RSS를 비교 대상(baseline)이자 출발 정의로 계속 소환한다는 뜻이다. 인식·예측 논문이 SOTA 경쟁으로 대체되는 것과 달리, 안전 모델은 정의를 내리는 논문이 오래 산다.
- 표준으로 제도화: RSS는 이후 IEEE Std 2846-2022(자동주행 안전 모델의 가정에 관한 표준) 계열 작업의 기반이 됐고, Mobileye는 ISO·학계와의 표준화 트랙을 별도로 밀었다. 논문이 초록에서 내걸었던 "안전 보증의 표준화"라는 목표가 실제 규격 문서로 이어진 드문 사례다.
- 산업이 코드로 받았다: Intel이
intel/ad-rss-lib를 LGPL-2.1로 공개해 RSS 수식을 실제 C++ 라이브러리로 구현했다. ⭐356·🍴141은 "안전 모델을 코드로 쓰는" 수요가 연구실 밖에 존재했다는 증거이며, 저장소가 2025년에 아카이브됐다는 사실 자체가 모델이 산업 표준/내부 구현으로 흡수된 후의 정상적인 종결로 읽힌다. - 블랙박스 시대의 반대편 극: 이 논문이 유명한 진짜 이유는 성능이 아니라 방법론적 반대편에 있기 때문이다. 같은 2017년에 end-to-end 딥러닝 주행이 각광받던 시기에, "안전은 학습으로 얻는 것이 아니라 정의하고 검증하는 것"이라고 주장한 소수의 목소리였고, 오늘날 SOTIF·안전 케이스(safety case)·규제 대응 논의의 어휘를 사실상 이 논문이 공급했다.
- 활용 가치 — 무엇에 쓰는가: ① 계획기 위의 안전 필터: 기존 planner/ML 정책이 낸 궤적을 RSS 경계로 검사해 위반 시 대응 궤적으로 대체. ② 시나리오 기반 검증의 판정 기준: 시뮬레이션 시나리오에서 "누가 책임 있는 사고인가"를 기계적으로 라벨링. ③ 규제·인증 대화의 공용어: 형식 모델이 없으면 "충분히 테스트했다" 이상의 문장을 만들 수 없다. ④ 음성 검증(negative verification): 잘 주행하는지가 아니라 하면 안 되는 일을 하지 않는지를 상시 감시 — 이 블로그에서 다룬 시뮬레이터 기반 검증(CARLA, 2026-09-09)이 '경험으로 검증'이라면, RSS는 '정의로 검증'이라는 축을 담당한다. 두 축은 대체가 아니라 상호 보완이다.
시사점 및 결론
RSS의 메시지는 9년이 지난 지금 오히려 더 선명하다. 딥러닝이 잘하는 것(인식·예측)과 시스템이 보증해야 하는 것(안전)은 다른 문제이며, 후자는 평균 성능이 아니라 최악의 경우에 대한 정의로만 답할 수 있다. 논문이 제시한 d_min 부등식 하나에 담긴 발상 — "안전거리를 지켰다면 추돌은 물리적으로 불가능하다" — 은 오늘날 어떤 안전 프레임워크도 피해갈 수 없는 형식이다. 동시에 RSS는 스스로의 한계를 파라미터로 노출한다. 보증은 사람이 정한 가정(a_max,brake) 위에서만 성립하며, 그 가정이 현실과 어긋나면 증명은 조용히 깨진다. 결국 자율주행의 안전은 모델 하나를 채택하는 일이 아니라, 가정을 명시하고 감시하고 갱신하는 운영 체계를 만드는 일이다. 그 체계의 문법을 2017년에 미리 써 둔 논문이, 885회 인용으로 여전히 인용되는 이유다.
원문: https://arxiv.org/abs/1708.06374
목록으로 돌아가기