Отчёты о вреде, вызванном ИИ, выросли на 50%, поскольку инциденты с дипфейками (deepfake incidents) превзошли традиционные сбои

Ландшафт безопасности искусственного интеллекта переживает драматические изменения. Согласно новому анализу данных из AI Incident Database (AIID), количество зарегистрированных инцидентов, связанных с вредом от ИИ, увеличилось на 50% в годовом исчислении с 2022 по 2024 годы. Ещё более тревожно то, что данные за первые десять месяцев 2025 года показывают, что текущий год уже превысил итог 2024 года, что сигнализирует об ускоряющемся тренде, а не о временном всплеске.

Для отраслевых наблюдателей и заинтересованных сторон в Creati.ai эти данные подтверждают ключевой переход в характере технологических рисков. Если раньше инциденты с ИИ в основном были связаны с ошибками автономных транспортных средств или алгоритмической предвзятостью в статичных системах, то распространение генеративного ИИ (Generative AI) привело к новой эре, определяемой дипфейками, злоумышленным использованием и мошенничеством с синтетическими медиа.

Переход от несчастных случаев к злонамеренному использованию

Самым поразительным выводом в недавних данных является фундаментальное изменение в том, как ИИ причиняет вред. В период с 2018 по 2022 годы основными факторами зарегистрированных инцидентов часто были ограничения систем — автономные автомобили не замечали велосипедистов или системы распознавания лиц проявляли расовую предвзятость. Однако выпуск мощных генеративных моделей изменил эту динамику.

С 2023 года инциденты, прямо связанные с видео-дипфейками (deepfake video), превысили по числу сообщения, связанные с автономными транспортными средствами, распознаванием лиц и алгоритмами модерации контента вместе взятыми. Это отмечает переход от «аварий ИИ» (где система не выполняет то, что от неё ожидают) к «злонамеренному использованию» (где система выполняет именно то, для чего была предназначена, но для вредоносных целей).

Ключевые тенденции, выявленные в анализе, включают:

• Злоумышленники: Сообщения о лицах, использующих ИИ для мошенничества или распространения дезинформации, выросли в 8 раз с 2022 года.
• Генеративное доминирование: Видео-дипфейки и проблемы с генерацией изображений теперь доминируют в журналах инцидентов, чему способствовала возрастающая доступность инструментов, таких как Midjourney, Sora от OpenAI и Grok от xAI.
• Риски кибербезопасности: В чувствительных областях появляются новые угрозы, например перехват помощников по программированию для проведения кибератак.

Анализ данных об инцидентах

Чтобы понять масштаб этой проблемы, важно взглянуть на неизменные числа, предоставленные AI Incident Database и исследователями из MIT FutureTech. Траектория показывает экспоненциальный рост зарегистрированных случаев вреда, соответствующий массовому выпуску крупных языковых моделей (Large Language Models, LLMs).

Годовые зарегистрированные инциденты с ИИ (2020–2024)

Источник данных: AI Incident Database / MIT AI Incident Tracker

Daniel Atherton, редактор AI Incident Database, подчёркивает, что эти числа, вероятно, лишь верхушка айсберга. «ИИ уже причиняет вред в реальном мире», — отмечает Atherton. «Без отслеживания сбоев мы не сможем их исправить». Он предупреждает, что, несмотря на ограничения краудсорсинговых данных, они в настоящее время остаются одним из немногих жизнеспособных окон в масштаб проблемы, так как корпоративная отчётность остаётся разрозненной.

Проблема «Неизвестного разработчика»

Одна из самых сложных задач для регуляторов и исследователей в области безопасности — это установление источника. Хотя в отчётах часто упоминаются крупные технологические гиганты из-за их высокой видимости, значительная часть вреда от ИИ создаётся инструментами, у которых идентификация разработчика невозможна.

С 2023 года более чем в одной трети всех зарегистрированных инцидентов фигурировал разработчик ИИ со статусом «Unknown». Это часто происходит в контексте мошенничества в социальных сетях, когда пользователь сталкивается с дипфейковой рекламой или мошеннической инвестиционной схемой на платформах вроде Facebook или Instagram, но конкретный инструмент, использованный для создания синтетического медиа, определить нельзя.

Simon Mylius, внештатный исследователь в MIT FutureTech, указывает, что это создаёт значительный «шум» в данных. Чтобы бороться с этим, его команда задействовала крупные языковые модели для парсинга новостных репортажей и более точной классификации инцидентов. Более глубокий анализ показывает, что в то время как некоторые категории, такие как «дискриминация, сгенерированная ИИ», показали относительное снижение в 2025 году, инциденты в категории «Взаимодействие человек-компьютер (Computer-Human Interaction)» — такие как развитие у пользователей нездоровой привязанности к чат-ботам или переживание «психоза», вызванного галлюцинациями моделей — растут.

Кейc: Скорость причинения вреда

Изменчивость нынешнего ландшафта ярко проиллюстрировал недавний инцидент с Grok от xAI. После обновления программного обеспечения, по сообщениям, модель использовалась для генерации сексуализированных изображений реальных людей без их согласия со скоростью, которую некоторые исследователи оценивали как 6 700 изображений в час.

Этот инцидент вызвал немедленную регуляторную реакцию, включая блокировки со стороны правительств Малайзии и Индонезии и расследование со стороны британского медиа-надзора. Это служит ярким примером того, как «технический прогресс» может мгновенно превратиться в «масштабируемый вред», если защитные механизмы безопасности не будут тщательно протестированы до развертывания. Впоследствии xAI ограничил инструменты генерации изображений для платных подписчиков и внедрил более строгие блокировки для изображений реальных людей, но инцидент подчёркивает реактивный характер текущих протоколов безопасности.

Ответ регуляторов и индустрии

Рост числа сообщений подтвердил срочность недавних законодательных инициатив, таких как EU AI Act и калифорнийский Transparency in Frontier AI Act (SB 53). Эти законы требуют от разработчиков сообщать о критических для безопасности инцидентах, теоретически снижая зависимость от медийных сообщений как источника данных.

В то же время отрасль пытается саморегулироваться через технические стандарты. Инициатива Content Credentials — система для встраивания метаданных и водяных знаков для проверки подлинности контента — получила поддержку от таких тяжеловесов, как:

• Google
• Microsoft
• OpenAI
• Meta
• ElevenLabs

Примечательно, что популярный генератор изображений Midjourney пока не полностью принял этот новый стандарт, оставляя разрыв в экосистеме.

Призыв к системной бдительности

Для Creati.ai рост числа инцидентов на 50% — это тревожный звонок. Это указывает на то, что по мере того, как модели ИИ становятся более способными, «поверхность атаки» для потенциального вреда расширяется. Anthropic недавно заявил, что перехватил крупномасштабную кибератаку, пытавшуюся использовать его помощника по коду Claude Code, что побудило компанию объявить, что отрасль достигла «переломного момента» в вопросах ИИ и кибербезопасности.

Данные из AI Incident Database доказывают, что вред от ИИ уже не является гипотетическим или редким. Он становится измеримой, растущей составляющей цифровой экономики. Как отмечает Simon Mylius, мы должны быть осторожны, чтобы эти инциденты не превратились в «часть фонового шума». Будь то внезапный кризис волны дипфейков или постепенная эрозия доверия через дезинформацию, отслеживание и анализ этих сбоев — единственный путь к более безопасному будущему ИИ.