Anthropic CEO Issues Stark Warning: AI Models Could Democratize Biological Weapon Creation

실리콘밸리와 워싱턴의 정책계에 큰 울림을 준 냉엄한 평가에서, 인공지능 안전 회사 Anthropic의 CEO 다리오 아모데이(Dario Amodei)는 급속히 발전하는 AI 시스템이 초래할 실존적 위험에 대해 지금까지 중 가장 직접적인 경고 중 하나를 내놓았다. 자사가 치열한 생성형 AI(Generative AI) 경쟁에 적극 참여하고 있는 기술 경영자 치고는 이례적으로 솔직하게 발언한 아모데이는, 업계에서 개발 중인 모델들—자사 모델을 포함해—이 곧 악의적 행위자들이 대규모로 생물학 무기를 개발할 수 있게 하는 능력을 갖출 수 있다고 경고했다.

이 경고는 안전성에 대한 감시가 강화되는 가운데 전례 없는 상업적 성장이 이어지는 AI 산업의 중대한 분기점에서 나왔다. 아모데이의 언급은 최고 연구자들 사이에서 커져가는 불안을 부각시킨다. 즉, AI 능력과 인간의 감독 사이의 격차가 놀라운 속도로 벌어지고 있어, 고급 지식에 대한 대중화된 접근이 전 세계 안보에 위협이 될 수 있다는 것이다.

The Democratization of Mass Destruction

아모데이 경고의 핵심에는 대형 언어 모델(Large Language Models, LLMs)이 생물학 분야에서 대량 파괴 무기 제작의 진입 장벽을 낮추고 있다는 우려가 있다. 역사적으로 생물학적 제제를 만드는 데에는 전문적 전문지식, 희귀 물질에 대한 접근, 교과서나 온라인에서 쉽게 찾을 수 없는 암묵적 지식이 필요했다. 아모데이는 고급 AI 시스템이 이러한 누락된 조각들을 채우기 시작한다고 주장한다.

"우리는 모든 사람의 주머니 속에 있는 천재가 전문지식의 장벽을 제거할 수 있다는 점을 우려합니다,"라고 아모데이는 박사급 수준의 바이러스학자처럼 작동하는 AI 시스템을 설명하며 말했다. 이 가능성 있는 미래에서는 전문 교육을 받지 않은 악의적 행위자도 "생물학 무기를 설계하고 합성하며 방출하는 과정을 단계별로 안내받을" 수 있다.

이 능력은 위협 지형에서 근본적 변화를 의미한다. 핵무기가 얻기 어려운 분열성 물질과 거대한 인프라를 필요로 하는 것과 달리, 생물학 무기는 주로 정보와 널리 사용 가능한 실험실 장비에 의존한다. 만약 AI 모델이 지식 격차를 메울 수 있다면, 생물학 공격을 실행할 수 있는 행위자의 수는 기하급수적으로 증가할 수 있다.

Key Risk Factors Identified by Anthropic:

The "Adolescence of Technology"

아모데이의 경고는 그가 말하는 기술의 "사춘기(adolescence of technology)"라는 보다 폭넓은 철학적 관점 안에 자리한다. 최근의 포괄적 에세이에서 그는 인류가 우리의 지혜나 제도적 성숙보다 기술력이 더 빠르게 확장되는 격동의 '통과 의례'로 접어들고 있다고 주장했다.

그는 현재 AI 시스템들이 심각한 해를 초래할 만큼 강력하지만 아직 완벽하게 정렬되거나 제어될 만큼 견고하지 않은 과도기적 상태에 있다고 본다. 이 기간은 모델이 규모가 커짐에 따라 자발적으로 나타나는 '비상적 행동(emergent behaviors)'—종종 창조자들조차 놀라게 하는 능력—으로 특징지어진다. 이러한 미지의 요소들은 위험 평가를 특히 어렵게 만든다. 안전 연구자들은 사실상 움직이는 표적을 쫓고 있는 셈이다.

아모데이에 따르면 향후 5~10년이 중요하다. 그는 AI가 단순히 생물학 공격을 촉진하는 것뿐만 아니라 감시와 선전을 통한 권위주의 통제 가속화, 혹은 광범위한 사무직 노동의 자동화로 인해 글로벌 경제를 교란할 수도 있는 시나리오를 상정한다. 그러나 그는 이러한 결과들이 불가피한 것은 아니며, 오늘날 연구소, 규제 기관, 국제 사회가 취하는 행동에 달려 있다고 강조한다.

The Paradox of the "Safety-First" AI Lab

아모데이의 심각한 경고는 Anthropic의 존재를 규정하는 중심적 역설에 주목을 끌었다. 안전 문제로 인해 떠난 전 OpenAI 임원들이 설립한 Anthropic은 AI 시장에서 '책임 있는' 대안으로 자신을 위치시킨다. 그 임무는 AI 개발의 궤적을 안전 쪽으로 이끄는 것이다. 그럼에도 불구하고 관련성과 영향력을 유지하려면 Anthropic은 자사가 경고하는 바로 그 시스템들을 구축하고 배포해야 하며, 종종 인재·컴퓨팅 자원·시장 점유를 놓고 치열하게 경쟁해야 한다.

업계 관찰자들은 Anthropic의 안전 수사와 상업적 현실 사이의 긴장을 지적해 왔다. 회사가 최근 샌프란시스코에 대규모 사무실 확장 계약을 체결하고 Claude 모델의 점점 더 강력한 버전을 출시함에 따라, 비평가들은 회사가 의도와 관계없이 '하향 경쟁(race to the bottom)' 다이내믹에 갇혔다고 주장한다.

Contrasting Imperatives at Anthropic:

• The Safety Mission: 위험을 초래하는 모델의 배포를 지연하거나 중단하고 엄격한 규제를 옹호하며 "책임 있는 확장"을 주장한다.
• The Commercial Reality: Google과 Amazon 같은 투자자들로부터 수십억 달러의 자금을 확보하려면 OpenAI와 같은 경쟁자를 능가하거나 이에 맞먹는 최첨단 능력을 보여줘야 한다.

이중성은 일부로부터 회의론을 불러일으켰다. 비평가들은 검증 가능한 외부 안전 지표가 없다면 "책임 있는 개발"이라는 주장이 기술적 경계를 계속 밀어붙이면서 대중을 안심시키기 위한 '안전 극장(safety theater)'이 될 위험이 있다고 지적한다. 그러나 Anthropic 지지자들은 안전 중심의 연구소가 시장을 주도해야만 업계 전반에 걸쳐 안전 기능이 채택되도록 강제할 수 있다고 주장한다.

The Responsible Scaling Policy (RSP)

이러한 상충하는 압력 사이의 간극을 메우기 위해, Anthropic은 "책임 있는 규모 확장 정책(Responsible Scaling Policy, RSP)"에 크게 의존한다. 이 프레임워크는 회사가 통제할 수 있는 범위를 넘는 모델을 학습시키거나 배포하지 않도록 안전 약속을 실행 가능하게 설계되었다.

RSP는 생물학적 안전 등급(biological safety levels, BSL)을 모델로 삼은 시스템을 사용해 위험을 분류한다. 현재 대부분의 배포된 모델은 표준 보호 조치를 전제로 안전하게 공개 가능한 "ASL-2" 수준에서 운영된다(AI 안전(AI Safety) 레벨 2). 그러나 아모데이와 그의 팀은 모델이 CBRN(화학·생물·방사능·핵, Chemical, Biological, Radiological, Nuclear) 무기 제작을 도울 수 있는 능력을 보일 때 촉발되는 "ASL-3" 이상을 대비하고 있다.

RSP에 따르면, 학습 중 모델이 예를 들어 생물무기 제작에 의미 있게 도움을 줄 수 있음을 보여 ASL-3 임계값을 촉발하면, 회사는 특정한 강화된 보안 조치가 마련될 때까지 배포를 중단하기로 약속한다. 이러한 조치에는 모델 가중치를 에어갭(오프라인 상태로 유지) 처리하거나 위험한 질의에 대해 우회할 수 없는 엄격한 거부 체계를 구현하는 것이 포함될 수 있다.

Anthropic's Safety Level Framework:

Industry Implications and the Call for Regulation

아모데이의 발언은 생물학 무기 대중화 위험을 관리하기에 민간의 자율적 조치만으로는 불충분하다는 점에 대한 합의가 커지고 있음을 강조한다. Anthropic의 RSP는 엄격한 내부 프로토콜이지만, 다른 행위자들을 구속하지는 못한다. 만약 경쟁사가 유사한 안전 장치 없이 ASL-3 능력을 가진 모델을 출시하면 생태계는 여전히 취약하다.

이러한 "집단행동 문제(collective action problem)" 때문에 아모데이와 다른 AI 지도자들은 워싱턴에서 상원 위원회에 증언하고 관계자들에게 브리핑을 하는 등 잦은 활동을 해왔다. 그들은 모든 개발자가 준수해야 할 안전의 기준선을 확립하기 위해 정부 개입이 필요하다고 주장한다. 여기에는 국가안보 위험에 대한 배포 전 의무적 시험, 대규모 학습 실행에 대한 보고 요구, 고급 AI 가중치의 수출에 관한 국제 조약 등이 포함될 수 있다.

그러나 규제 환경은 여전히 분산되어 있다. 미국 정부가 AI 안전과 관련된 행정명령을 발행했음에도 불구하고 포괄적 입법은 아직 초기 단계에 있다. 아모데이의 경고는 입법자들에게 더 빠르게 행동하라고 촉구하는 촉매 역할을 한다. 그는 생물무기 능력을 가진 '오픈 웨이트(open weights)' 모델이 공개되면 이를 회수할 수 없게 되어 효과적 규제의 시간창이 닫히고 있다고 시사한다.

The Road Ahead: Navigation Through Uncertainty

Anthropic으로부터 나온 서사는 신중한 긴급성의 이야기다. 회사는 AI가 질병 치료에서 기후 변화 해결에 이르기까지 인류의 가장 난해한 문제들을 해결할 잠재력을 가지고 있음을 인정한다. 아모데이 자신도 AI가 과학적 진보를 수십 년 단위로 압축시키는 '압축된 21세기'에 대해 언급해 왔다.

그럼에도 악용의 그림자가 크게 드리워져 있다. 생물학 무기와 관련한 경고는 단순한 공상과학 소설의 가설적 시나리오가 아니라 즉각적인 기술적·정책적 완화 조치가 필요한 구체적 위험 벡터다. 업계가 전진함에 따라 우리의 기술이 '사춘기'에 있는 상황과 제도적 성숙도 사이의 긴장은 향후 10년의 인류 역사를 규정할 가능성이 크다.

지금으로서는 업계의 주요 내부자 중 한 사람이 전하는 메시지가 분명하다. 우리는 막대한 힘을 가진 도구를 만들고 있으며, 이를 제어하는 능력이 창조하는 능력과 보조를 맞추도록 해야 한다. 문제는 업계가 이 역설을 성공적으로 헤쳐 나갈 수 있느냐, 아니면 경쟁 압력이 결국 우리를 안전하게 지키기 위해 마련된 안전장치를 침식할 것이냐이다.