🦠 [클래식] Computer Viruses: Theory and Experiments — '바이러스'를 처음 정의하고, 완벽한 탐지가 불가능함을 증명한 1987년의 출발점

논문 정보

한 줄 요약 — "바이러스"라는 개념을 정의한 그 논문, 그리고 "완벽한 탐지는 불가능하다"는 증명

오늘날 '바이러스'라는 단어는 일상어다. 그런데 그 단어를 과학적 정의로 못 박고, 이어서 "모든 바이러스를 100% 탐지하는 알고리즘은 존재하지 않는다"는 사실을 증명한 것이 바로 이 논문이다. 즉 악성코드 연구는 개념 정의와 탐지의 근본 한계라는 두 기둥을 이 한 편에서 동시에 얻었다.

"바이러스는 다른 프로그램을 감염시켜, 자기 자신의 (진화 가능한) 복사본을 포함하도록 수정하는 프로그램이다."

이 정의가 지금도 유효하다는 점, 그리고 이 논문이 던진 '탐지 불가능성'이 2026년의 다형성 악성코드·AI 생성 변종 앞에서도 그대로 살아 있다는 점이, 40년 된 고전을 다시 읽는 이유다.

배경 — 1983년 11월, Adleman의 수업에서

• 1982년 — Elk Cloner: Rich Skrenta가 Apple II용으로 만든 장난 프로그램이 최초의 PC 바이러스 대량 감염 사건이 된다. "Elk Cloner: The program with a personality"라는 시를 띄우는 수준의, 아직 '개념'이 없던 시대였다.
• 1983년 11월 — 최초의 실험: USC(서던캘리포니아대) 박사과정생 Fred Cohen이 자기 자신을 복제하며 다른 프로그램으로 옮겨 붙는 프로그램을 VAX 11/750 (Unix) 시스템에서 실험으로 시연한다. "감염(infection)"이라는 은유가 이때 컴퓨터 과학에 들어온다.
• 용어의 출처: 'computer virus'라는 이름은 Cohen의 지도교수 Leonard Adleman(RSA 공개키 암호의 공동 발명자)이 제안한 것이다. 즉 바이러스라는 용어는 암호학자의 머리에서 나왔다.
• 1984 → 1987: 1984년 IFIP/Sec에서 논문을 발표하고, 1986년 박사학위논문 Computer Viruses로 정리한 뒤, 1987년 Computers & Security에 이 논문으로 게재된다.

핵심 정의 — 바이러스는 '숙주가 필요한 기생 프로그램'

Cohen의 정의는 오늘날 교과서 정의와 사실상 같다. 그리고 그는 바이러스(virus)와 웜(worm)을 명확히 구분했다.

바이러스의 본질은 "다른 코드를 수정한다"는 점이다. 그래서 Cohen이 제안한 근본적 방어도 "탐지"가 아니라 무결성(integrity) — 즉 코드가 마음대로 수정되지 않게 하고, 프로그램의 공유와 정보 흐름을 통제하는 것이었다.

실험 — VAX 11/750(Unix)에서 무슨 일이 일어났나

논문의 무게추는 이론보다 실험에 있다. Cohen은 자기 복제 프로그램이 실제 다중 사용자 시스템에서 어떻게 퍼지는지 직접 확인했다.

• 기본 바이러스: 실행 파일에 자신을 결합하고, 그 프로그램이 실행될 때 다시 자기 복사본을 만들어 다른 실행 파일로 옮겨 붙는 형태. 한 번 실행되면 시스템 전반으로 번져 나간다 — "프로그램 하나를 실행했을 뿐인데" 시스템 전체가 감염될 수 있다는 사실이 이 실험의 충격이었다.
• 압축 바이러스(compression virus): 이 논문에서 가장 흥미로운 변형. 스스로 퍼지면서 숙주 프로그램을 압축해 파일을 오히려 작게 만든다. 파괴가 목적이 아닌, Cohen이 상상한 "선의의 바이러스(benevolent virus)" 예다.
• '선한 바이러스'는 거부됐다: 그러나 백신 업계는 이 개념을 받아들이지 않았다. "바이러스 없이도 원하는 기능(자동 압축 등)은 얼마든지 구현할 수 있다"는 논리였다 — 목적이 선하든, 자기 복제와 코드 수정이라는 메커니즘 자체가 통제 불가능한 위험이기 때문이다. 이 논쟁은 오늘날 '합법적 도구를 악용하는 공격'을 바라보는 관점의 원형이다.

이론적 결과 — 탐지는 원리적으로 100%가 될 수 없다

이 논문의 영구적 유산은 실험이 아니라 불가능성 증명이다. Cohen은 모든 가능한 바이러스를 완벽하게 탐지하는 알고리즘은 존재하지 않는다는 것을 보였다.

• 논리: "이 프로그램이 특정 동작(예: 자기 복제)을 하는가"를 임의의 프로그램에 대해 판정하는 문제는 정지 문제(halting problem)로 환원된다 → 결정 불가능(undecidable). 따라서 완벽한 바이러스 탐지기는 원리적으로 존재할 수 없다.
• 실무적 함의: 오늘날의 시그니처(서명) 기반 탐지는 "이미 알려진 바이러스의 특징"을 찾는 방식이라, 원리적으로 미지의 변종·다형성(polymorphism)·난독화에 취약하다. 이 한계는 1987년에 이미 증명된 것이다.
• 그래서 남는 답은 '탐지'가 아니라 '차단'이다: Cohen은 프로그램 공유 제한(limited sharing)과 정보 흐름 무결성(info-flow integrity)을 근본 방어로 제시했다. 이후 그는 고무결성(high-integrity) 운영체제 메커니즘 연구로 이어진다 — 최소 권한·무결성 통제의 뿌리다.

왜 유명한가 — 악성코드 40년 혈통의 시작점

• 정의 + 한계의 원출처: "바이러스란 무엇인가"와 "탐지로는 못 막는다"는 두 명제 모두 이 논문에서 나왔다. 715/753회의 인용은 악성코드·백신·무결성 연구 전반이 이 논문을 조상으로 참조한다는 뜻이다.
• 직계 혈통 — Morris 웜: 불과 1년 뒤인 1988년 11월 2일, Robert Tappan Morris의 웜이 DEC VAX와 Sun 시스템을 휩쓸며 인터넷 최초의 대규모 사고를 낸다. Cohen이 실험실에서 보인 '자기 복제의 위험'이 곧 현실이 된 것이다.
• 1990년대 → 2020년대: 시그니처 기반 백신의 전성기 → 다형성/메타모픽 악성코드 → 행위 기반 EDR·샌드박스 → 오늘의 코드 서명·허용목록(allowlisting)·컨테이너 격리. 모든 세대가 Cohen이 그은 선 위에 서 있다.
• 함께 읽기: 같은 시기 '신뢰' 자체를 문제 삼은 Reflections on Trusting Trust(1984), 그리고 실행 가능 코드를 무기화한 Smashing The Stack For Fun And Profit(1996)와 나란히 놓으면 1980~90년대 보안 사유의 지형이 보인다.

2026년의 실무 시사점 — 40년 전 증명은 아직 유효하다

• "탐지 100%"는 약속하지 말 것. 불가능성 결과는 오늘도 성립한다. 시그니처는 필요조건일 뿐 충분조건이 아니다 → 시그니처 + 행위 탐지 + 격리/샌드박스 + 무결성(코드 서명·허용목록)의 다층 방어가 정답이다.
• 방어의 무게중심은 '차단'에 둔다. 실행 파일 무결성 검사, 최소 권한, 쓰기·실행 분리(W^X), 신뢰할 수 있는 코드만 실행(allowlisting)이 Cohen의 '제한된 공유 + 무결성' 계보를 잇는다.
• AI 시대에 더 선명해진 한계: 생성형 모델이 변종을 자동 생성·난독화하면 시그니처 갱신 속도보다 변종 생성 속도가 빨라진다. 이는 새로운 문제가 아니라 1987년 결과가 예고한 한계의 심화다 — 탐지 의존을 줄이고 무결성·권한 통제로 옮겨가야 하는 이유. (이 논문 자체는 AI와 무관한 순수 고전이다.)
• 역사에서 배우는 태도: 1983년의 실험은 "장난 수준"으로 시작했지만 5년 뒤 인터넷을 멈췄다. 새 메커니즘(자기 복제, 자동 실행, 에이전트 자율 행동)을 볼 때 데모 단계에서 위험을 먼저 따져보는 습관이 이 논문이 주는 가장 실용적인 교훈이다.

한계와 주의

• '선한 바이러스'는 개념으로 거부됐다 — 자기 복제 메커니즘 자체가 통제 불가능하므로, AV 업계는 benevolent virus를 인정하지 않는다.
• 당시 모델의 범위: 1987년의 실험은 단일 다중 사용자 Unix 시스템 중심이다. 네트워크를 통한 대규모 자율 확산(웜·봇넷)은 이후 세대의 주제다.
• 인용 지표: 인용 수는 출처(Semantic Scholar 715 / OpenAlex 753)에 따라 다르며, 1984년 발표본과 1987년 게재본이 함께 집계되는 경향이 있다.

출처

• 원문 (출판본, Computers & Security 6(1):22–35, 1987): doi.org/10.1016/0167-4048(87)90122-2
• 저자 공식 배포 페이지 (Fred Cohen, all.net): all.net/books/virus/
• 배경·정의·연표: Wikipedia — Computer virus · Fred Cohen · Timeline of computer viruses and worms
• 인용 수: Semantic Scholar (715회) · OpenAlex DOI 10.1016/0167-4048(87)90122-2 (753회), 2026-09-25 조회
• 함께 읽기 — 이전 게시물: 2026-09-02 Reflections on Trusting Trust(1984, 컴파일러 백도어) · 2026-08-30 Smashing The Stack For Fun And Profit(1996, 버퍼 오버플로우) · 2026-09-16 How to Break MD5(2005, 암호분석)