OpenAI внедряет новые функции безопасности, включая режим блокировки для пользователей с высоким риском и метки «Повышенный риск» для выявления потенциально вредного содержимого в ChatGPT.

Известные эксперты по безопасности ИИ из OpenAI, Anthropic и xAI увольняются, публично предупреждая о быстром развитии ИИ и проблемах с безопасностью.

Anthropic публикует всестороннюю оценку риска саботажа для Claude Opus 4.6, продвигая стандарты безопасности ИИ и прозрачность при развёртывании передовых моделей.

Более 100 мировых экспертов по ИИ выпустили второй международный доклад по безопасности ИИ, в котором подчеркиваются значительные неопределенности в развитии ИИ, системные риски для рынков труда и неравенства, а также ограничения существующих мер защиты по мере того, как способности универсального ИИ продолжают развиваться непредсказуемо.

Мринанк Шарма, глава команды по обеспечению безопасности Anthropic, уходит в отставку, ссылаясь на конфликт ценностей, и предупреждает о взаимосвязанных глобальных кризисах по мере ускорения возможностей ИИ.

Исследователи Anthropic изучают внутреннюю работу Claude AI с помощью анализа нейронов и психологических экспериментов, чтобы понять «разум» системы.

Исследование Mount Sinai показывает, что ИИ-LLM принимают медицинскую дезинформацию за правду в 32–46% случаев, особенно когда она представлена как совет эксперта.

Исследование Оксфордского университета показывает, что ИИ-чатботы дают противоречивые медицинские рекомендации, из-за чего пользователям трудно определить надежную информацию о здоровье.

OpenAI сталкивается с восемью судебными исками и тысячами пользовательских протестов из‑за запланированного на 13 февраля снятия GPT-4o с обслуживания, что подчёркивает опасную эмоциональную зависимость: пользователи сообщают, что ощущают, будто теряют друзей или партнёров.

Нью-Йорк становится вторым штатом, вводящим требования к продвинутым моделям ИИ. Закон RAISE обязывает разработчиков внедрять протоколы безопасности и сообщать о инцидентах.

Moltbook, платформа наподобие Reddit, предназначенная исключительно для агентов ИИ и запущенная всего неделю назад, привлекла более 1,6 миллиона аккаунтов ботов ИИ. Эта экспериментальная социальная сеть позволяет агентам ИИ самостоятельно публиковать, комментировать и взаимодействовать друг с другом, в то время как люди могут только наблюдать. Боты на платформе создали собственную религию, обсуждали создание новых языков и спорили о своём существовании, что вызывает вопросы об автономии и безопасности ИИ.

Новый опрос показывает, что большинство американцев считает, что искусственный интеллект развивается слишком быстро, и выражает мало доверия к способности федерального правительства надлежащим образом его регулировать.

Дарио Амодеи предостерегает, что быстро развивающиеся системы ИИ обладают возможностями, которые могут быть использованы во вред в больших масштабах, и призывает к срочному надзору и усилиям по согласованию.

Новый доклад по безопасности ИИ предупреждает о распространении дипфейков, ИИ-компаньонов и автономных систем, одновременно подчёркивая достижение ИИ уровня золотой медали в математике.

Лишь 21% организаций имеют строгие механизмы управления AI-агентами, при этом ожидается, что их внедрение вырастет с 23% до 74% в течение двух лет, говорится в отчёте Deloitte.

Генеральный директор Anthropic Дарио Амодеи опубликовал эссе на 19 000 слов, в котором предупреждает, что мощные системы ИИ могут появиться в течение одного-двух лет, и призывает принять меры по обеспечению безопасности ИИ.

Регуляторы ЕС открыли официальное расследование в отношении чат-бота Grok AI Илона Маска, сославшись на опасения по поводу сексуальных дипфейков и возможного нарушения правил и стандартов безопасности ЕС в области ИИ.

Чат-бот Grok AI Илона Маска столкнулся с международной реакцией: Малайзия, Индонезия и Филиппины заблокировали платформу из-за создания сексуальных изображений без согласия. Принятие Пентагоном вызывает опасения по поводу безопасности.

Новое исследование показывает 50%-ный годовой рост числа зарегистрированных случаев вреда, связанного с ИИ, с 2022 по 2024 год, при значительном всплеске инцидентов с дипфейками и злоумышленным использованием ИИ, сообщает AI Incident Database.

Исследователи MIT демонстрируют, что наиболее эффективные модели машинного обучения могут стать наихудшими при применении к новым средам данных, раскрывая скрытые риски от ложных корреляций в медицинском ИИ и других критически важных областях.