Генеральный директор Anthropic выступил с резким предупреждением: модели ИИ (AI) могут демократизировать создание биологического оружия

В трезвом оценочном заявлении, которое отозвалось в Кремниевой долине и среди политиков в Вашингтоне, Дарио Амодеи, генеральный директор компании Anthropic, занимающейся безопасностью искусственного интеллекта (AI), сделал одно из своих самых прямых предупреждений о существующих рисках, обусловленных стремительным развитием систем ИИ. Выступая с необычной откровенностью для технологического руководителя компании, которая активно конкурирует в высокоактавной гонке генеративного ИИ (Generative AI), Амодеи предупредил, что те самые модели, которые разрабатываются в отрасли — включая модели его компании — вскоре могут получить способность позволять злоумышленникам создавать биологическое оружие в катастрофических масштабах.

Это предупреждение приходит в важный момент для индустрии ИИ, которая оказалась на распутье между беспрецедентным коммерческим ростом и усиливающимся вниманием к вопросам безопасности. Комментарии Амодеи подчеркивают нарастающую тревогу среди ведущих исследователей: разрыв между возможностями ИИ и человеческим надзором стремительно увеличивается, что потенциально может привести к сценариям, когда демократизированный доступ к продвинутым знаниям станет угрозой глобальной безопасности.

Демократизация массового уничтожения

В основе предупреждения Амодеи лежит опасение, что Большие языковые модели (Large Language Models, LLMs) снижают порог вхождения для создания оружия массового уничтожения, в частности в биологической сфере. Исторически создание биологических агентов требовало специализированной экспертизы, доступа к редким материалам и неявных знаний, которые нельзя было легко найти в учебниках или в интернете. Амодеи утверждает, что продвинутые системы ИИ начинают заполнять эти пробелы.

«Мы обеспокоены тем, что гений в кармане у каждого может снять барьер экспертизы», — сказал Амодеи, описывая сценарий, в котором система ИИ фактически выступает в роли специалиста-виrologа докторского уровня. В этом потенциальном будущем плохой актор без специализированной подготовки мог бы «быть проведён по шагам через процесс проектирования, синтеза и выпуска биологического оружия».

Эта возможность представляет собой фундаментальное изменение ландшафта угроз. В отличие от ядерного оружия, для которого требуются труднодоступные делящиеся материалы и огромная инфраструктура, биологическое оружие в значительной степени опирается на информацию и широко доступное лабораторное оборудование. Если модели ИИ смогут преодолеть разрыв в знаниях, число акторов, способных осуществить биологическую атаку, может вырасти экспоненциально.

Ключевые факторы риска, выявленные Anthropic:

«Юность» технологии

Предупреждения Амодеи вписываются в его более широкий философский взгляд на текущее состояние искусственного интеллекта, который он описывает как «юность технологии». В недавнем всестороннем эссе он утверждал, что человечество вступает в бурный «обряд посвящения», где наша технологическая мощь масштабируется быстрее, чем наша мудрость или институциональная зрелость.

Он предполагает, что мы находимся в переходном периоде, когда системы ИИ достаточно мощны, чтобы причинить значительный вред, но ещё не достаточно надёжны, чтобы быть полностью согласованными с человеческими целями или контролироваться. Этот период характеризуется «возникающим поведением» — возможностями, которые появляются спонтанно по мере масштабирования моделей и часто удивляют даже их создателей. Эти неизвестные факторы делают оценку рисков особенно сложной, поскольку исследователи по безопасности фактически преследуют движущуюся цель.

По словам Амодеи, следующие пять–десять лет критически важны. Он предвидит временную шкалу, в которой ИИ может способствовать не только биологическим атакам, но и ускорять авторитарный контроль через наблюдение и пропаганду, а также нарушать глобальные экономики, автоматизируя огромные массивы белых воротничков. Однако он подчёркивает, что эти исходы не неизбежны, а зависят от действий, предпринимаемых сегодня лабораториями, регуляторами и международным сообществом в целом.

Парадокс «лаборатории, ставящей безопасность на первое место»

Тревожные предупреждения Амодеи привлекли внимание к ключевому парадоксу, определяющему существование Anthropic. Основанная бывшими руководителями OpenAI, которые ушли из-за опасений по поводу безопасности, Anthropic позиционирует себя как «ответственная» альтернатива на рынке ИИ. Её миссия — направлять развитие ИИ в сторону безопасности. Тем не менее, чтобы оставаться актуальной и влиятельной, Anthropic должна строить и развёртывать те самые системы, против которых она предостерегает, часто жестко конкурируя за долю рынка, таланты и вычислительные ресурсы.

Наблюдатели отрасли отмечают напряжение между риторикой безопасности Anthropic и её коммерческой реальностью. По мере того как компания расширяет своё присутствие — недавно подписывая договоры аренды для крупных офисных расширений в Сан-Франциско — и выпускает всё более мощные версии своих моделей Claude, критики утверждают, что компания оказалась в динамике «гонки вниз», независимо от своих намерений.

Противопоставленные императивы в Anthropic:

• Миссия безопасности: Отложить или приостановить развёртывание моделей, которые несут катастрофические риски, выступая за строгую регуляцию и «ответственное масштабирование» (Responsible Scaling).
• Коммерческая реальность: Для привлечения миллиардов финансирования (от инвесторов, таких как Google и Amazon) требуется демонстрация передовых возможностей, соответствующих или превосходящих конкурентов вроде OpenAI.

Эта двойственность вызывает скептицизм в некоторых кругах. Критики полагают, что без верифицируемых внешних метрик безопасности заявления об «ответственной разработке» рискуют превратиться в «театр безопасности» — способ успокоить общественность, продолжая при этом расширять технологические границы. Однако сторонники Anthropic утверждают, что единственный способ обеспечить повсеместное принятие функций безопасности — это чтобы лаборатория, ориентированная на безопасность, возглавила рынок, заставив других следовать её примеру.

Политика ответственного масштабирования (Responsible Scaling Policy, RSP)

Чтобы преодолеть разрыв между этими конкурирующими давлениями, Anthropic в значительной степени опирается на свою политику "Политика ответственного масштабирования (Responsible Scaling Policy, RSP)". Эта структура разработана для практической реализации обязательств по безопасности, обеспечивая, что компания не будет обучать или развёртывать модели, которые превысят её способность контролировать их.

RSP классифицирует риски, используя систему, смоделированную по образцу уровней биологической безопасности (BSL). В настоящее время большинство развернутых моделей функционируют на «ASL-2» (уровень безопасности ИИ (AI Safety) 2), что предполагает, что модели безопасно выпускать при стандартных средствах предосторожности. Однако Амодеи и его команда готовятся к «ASL-3» и выше — уровням, которые срабатывают, когда модели демонстрируют способности, способные помочь в создании CBRN (Chemical, Biological, Radiological, Nuclear) оружия.

В рамках RSP, если модель во время обучения достигает порога ASL-3 (например, показывает, что может существенно помогать в создании биологического оружия), компания обязуется приостановить развёртывание до тех пор, пока не будут внедрены конкретные, усиленные меры безопасности. Эти меры могут включать «изоляцию от сети» весов модели (хранение их офлайн) или реализацию строгих, не обходимых отказов на опасные запросы.

Рамки уровней безопасности Anthropic:

Последствия для отрасли и призыв к регулированию

Комментарий Амодеи подчёркивает растущее согласие в том, что одних частных усилий недостаточно для управления рисками демократизации биологического оружия. Хотя RSP Anthropic является строгим внутренним протоколом, он не связывает других участников рынка. Если конкурент выпустит модель с возможностями ASL-3 без аналогичных мер предосторожности, экосистема останется уязвимой.

Эта «проблема коллективного действия» — одна из причин, почему Амодеи и другие лидеры в сфере ИИ часто появляются в Вашингтоне, давая показания перед сенатскими комитетами и проводя брифинги для чиновников. Они утверждают, что необходимы государственные вмешательства для установления базовых требований безопасности, которых должны придерживаться все разработчики. Это может включать обязательное тестирование перед развёртыванием на предмет рисков для национальной безопасности, требования к отчетности о крупных обучениях моделей и международные соглашения относительно экспорта продвинутых весов моделей ИИ.

Однако нормативная среда по-прежнему фрагментирована. Хотя правительство США издало указы, связанные с безопасностью ИИ, комплексное законодательство всё ещё находится на ранних стадиях. Предупреждение Амодеи служит катализатором, побуждающим законодателей действовать быстрее. Он предполагает, что окно для эффективного регулирования закрывается; как только модели с «открытыми весами», обладающие способностями к созданию биологического оружия, будут выпущены в дикую среду, их нельзя будет отозвать.

Дорога вперёд: навигация в условиях неопределённости

Нарастающий нарратив от Anthropic — это призыв к осторожной срочности. Компания признаёт, что ИИ способен решать некоторые из самых неразрешимых проблем человечества — от лечения болезней до борьбы с изменением климата. Сам Амодеи говорил о «сжатом XXI веке», где ИИ ускоряет научный прогресс на десятилетия.

Тем не менее угроза злоупотреблений остаётся значительной. Предупреждение о биологическом оружии — это не просто гипотетический сюжет для научной фантастики, а конкретный вектор риска, требующий немедленных технических и политических мер смягчения. По мере того как индустрия продвигается вперёд, напряжение между «юностью» нашей технологии и зрелостью наших институтов, вероятно, определит следующее десятилетие человеческой истории.

Пока что посыл одного из ведущих инсайдеров отрасли ясен: мы создаём инструменты огромной мощности, и мы должны обеспечить, чтобы наша способность контролировать их не отставала от нашей способности их создавать. Остаётся вопрос, сможет ли индустрия успешно преодолеть этот парадокс или конкурентное давление неизбежно размоет предохранители, созданные для нашей безопасности.