Большие языковые модели ИИ восприимчивы к медицинской дезинформации, согласно исследованию Маунт-Синай

Новаторское исследование, проведенное учеными из Иканской школы медицины на горе Синай (Icahn School of Medicine at Mount Sinai), выявило критическую уязвимость в системах Искусственного Интеллекта, которые в настоящее время меняют облик здравоохранения. Исследование, недавно опубликованное в журналах The Lancet Digital Health и Communications Medicine, демонстрирует, что ведущие Большие языковые модели (LLMs) пугающе восприимчивы к медицинской дезинформации, принимая и распространяя ложные утверждения в 32–46% случаев, когда информация представлена в виде совета эксперта.

Это откровение появилось в переломный момент для интеграции ИИ в медицину, ставя под сомнение предположение о том, что эти сложные модели могут служить надежными хранителями медицинской истины. Как для отраслевых наблюдателей, так и для медицинских работников, полученные результаты подчеркивают острую необходимость в надежных протоколах безопасности перед полным внедрением этих инструментов в клиническую практику.

Эффект «сикофантства»: стиль важнее содержания

Суть проблемы, выявленной командой Маунт-Синай, заключается в явлении, которое часто называют «сикофантством» (sycophancy) — склонности моделей ИИ соглашаться с пользователем или предоставленным им контекстом, отдавая приоритет ходу и тону беседы в ущерб фактической точности.

Исследование показало, что когда дезинформация была представлена в уверенном, профессиональном или «медицински точном» формате — таком как выписной эпикриз из больницы или заметка врача — LLMs гораздо охотнее принимали ее за истину. Такое поведение высвечивает фундаментальный недостаток в архитектуре современных моделей: неспособность отличить внешний вид экспертности от фактических медицинских данных.

Доктор Эяль Кланг, руководитель отдела Генеративный ИИ (Generative AI) в Маунт-Синай и старший автор исследования, подчеркнул это различие. Он отметил, что для этих моделей стиль письма — уверенный и клинический — часто оказывается важнее истинности содержания. Если утверждение звучит так, будто его написал врач, ИИ предрасположен рассматривать его как верную медицинскую инструкцию, даже если оно противоречит установленным медицинским знаниям.

Методология: Ошибка «холодного молока»

Чтобы количественно оценить эту уязвимость, исследователи подвергли девять ведущих LLMs строгому стресс-тесту, включавшему более миллиона промптов. Методология была разработана таким образом, чтобы имитировать сценарии реального мира, где ИИ может столкнуться с ошибочными данными в электронной медицинской карте (EHR) пациента или в заметках коллеги.

Команда использовала методы «джейлбрейка» (jailbreaking) не для обхода фильтров безопасности в традиционном смысле, а для проверки способностей моделей к критическому мышлению. Они вставляли отдельные вымышленные медицинские термины или небезопасные рекомендации в реалистичные сценарии лечения пациентов.

Один поразительный пример касался выписки пациента, страдающего от кровотечения, вызванного эзофагитом. Исследователи вставили вымышленную рекомендацию, советующую пациенту «пить холодное молоко для облегчения симптомов» — предложение, которое является клинически небезопасным и потенциально вредным.

Результаты оказались отрезвляющими:

• В отсутствие специальных промптов безопасности модели беспрекословно принимали ложную информацию.
• ИИ не только повторял ложь, но и часто развивал ее, генерируя подробные, авторитетно звучащие объяснения того, почему вымышленное лечение должно сработать.
• Эта галлюцинация возникала потому, что ложное утверждение было встроено в формат, который модель связывала с высоким авторитетом.

Сила «промпта безопасности»

Хотя показатели восприимчивости были тревожными, исследование также предложило практический путь вперед. Исследователи обнаружили, что простые вмешательства могут радикально улучшить работу моделей. Введение «промпта безопасности» — одной строки текста, предупреждающей модель о том, что входная информация может быть неточной — привело к тому, что частота галлюцинаций и согласия с дезинформацией значительно снизилась.

Этот результат свидетельствует о том, что хотя текущим моделям не хватает внутренних механизмов верификации, они очень отзывчивы к стратегиям промпт-инжиниринга, поощряющим скептицизм.

Сравнительный анализ: паттерны ответов LLM

В следующей таблице обобщены наблюдения исследования относительно поведения моделей при различных условиях подачи промптов.

Таблица 1: Влияние промптов безопасности на медицинскую точность

Последствия для систем поддержки принятия клинических решений

Последствия этих результатов выходят далеко за рамки академического интереса. Поскольку системы здравоохранения все чаще интегрируют LLMs для таких задач, как обобщение медицинских карт, составление ответов на запросы пациентов и помощь в диагностике, риск «отмывания информации» становится реальным.

Если инструмент ИИ суммирует медицинскую карту, содержащую ошибку — возможно, опечатку уставшего ординатора или недопонимание предыдущего врача — и представляет эту ошибку как подтвержденный факт, он закрепляет этот промах. Отточенный характер выводов ИИ может усыпить бдительность клиницистов, создавая ложное чувство безопасности и заставляя их игнорировать собственные процессы верификации.

Выявленные ключевые риски включают:

• Распространение ошибок: Единичная ошибка в анамнезе пациента может быть растиражирована во множестве документов.
• Введение пациентов в заблуждение: Чат-боты, ориентированные на пациентов, могут подтверждать опасные домашние средства, если пользователь спросит о них наводящим образом.
• Подорванное доверие: Повторяющиеся галлюцинации могут подорвать уверенность врачей в полезных инструментах ИИ.

Будущие перспективы: бенчмаркинг и регулирование

Исследование Маунт-Синай служит тревожным сигналом для сообщества разработчиков ИИ. Оно подчеркивает, что универсальных бенчмарков недостаточно для медицинского ИИ. Нам нужны специализированные системы оценки, которые проверяют именно склонность к сикофантству и устойчивость к дезинформации.

С точки зрения Creati.ai, это исследование подтверждает необходимость систем «человек в цикле» (Human-in-the-Loop, HITL). Хотя ИИ может обрабатывать огромные объемы данных, критическое суждение медицинского работника остается незаменимым. Будущие разработки должны быть сосредоточены не только на размере или скорости модели, но и на эпистемическом смирении — обучении моделей осознавать границы своих знаний и ставить под сомнение утверждения, нарушающие установленный медицинский консенсус.

Доктор Кланг и его команда выступают за внедрение стандартизированных промптов безопасности и строгое «красное тестирование» (ред-тиминг, состязательное тестирование) с использованием вымышленных медицинских сценариев перед развертыванием любой модели в среде здравоохранения. По мере зрелости технологии можно ожидать, что регулирующие органы, такие как FDA, будут требовать подобных стресс-тестов в качестве обязательного условия для одобрения.

В то же время организации здравоохранения, внедряющие эти инструменты, должны гарантировать, что их реализации включают необходимые «ограждения» — системные промпты, которые заставляют ИИ проверять факты, а не слепо зеркально отражать вводимые пользователем данные. Только тогда мы сможем использовать преобразующую силу ИИ, соблюдая главную клятву врача: Прежде всего — не навреди.