Оксфордское исследование предупреждает: ИИ-чат-боты представляют серьезную угрозу при предоставлении медицинских советов
Привлекательность искусственного интеллекта (Artificial Intelligence, AI) как вездесущего помощника достигла критической области здравоохранения, и миллионы пользователей обращаются к большим языковым моделям (Large Language Models, LLMs) за быстрыми медицинскими ответами. Однако новаторское исследование, проведенное Оксфордским университетом и опубликованное в журнале Nature Medicine, вынесло суровое предупреждение: полагаться на ИИ-чат-ботов (AI chatbots) для постановки медицинского диагноза не только неэффективно, но и потенциально опасно.
Исследование, проведенное Оксфордским институтом интернета (Oxford Internet Institute) и Департаментом первичной медицинской помощи Наффилда (Nuffield Department of Primary Care Health Sciences), выявило значительный разрыв между теоретическими возможностями ИИ и его практической безопасностью в реальных сценариях здравоохранения. Несмотря на то, что модели ИИ часто блестяще сдают стандартные медицинские лицензионные экзамены, их эффективность пугающе падает при взаимодействии с обычными людьми, ищущими конкретные советы по здоровью.
Разрыв между бенчмарками и практической полезностью в реальном мире
На протяжении многих лет технологические компании рекламировали медицинскую компетентность своих флагманских моделей, часто ссылаясь на почти идеальные баллы в бенчмарках (benchmarks), таких как Медицинский лицензионный экзамен США (US Medical Licensing Exam, USMLE). Хотя эти показатели предполагают высокий уровень клинических знаний, оксфордское исследование подчеркивает критический недостаток в этих рассуждениях: сдача экзамена с вариантами ответов фундаментально отличается от сортировки пациентов в реальных условиях.
Ведущий автор Эндрю Бин (Andrew Bean) и его команда разработали исследование для тестирования «взаимодействия человека и ИИ», а не просто способности ИИ извлекать необработанные данные. Результаты показывают, что диалоговый характер чат-ботов привносит переменные, которые стандартные тесты просто не фиксируют. Когда пользователь описывает симптомы разговорным языком или не предоставляет ключевой контекст, ИИ часто затрудняется задать правильные уточняющие вопросы, что приводит к советам, которые являются расплывчатыми, неуместными или фактически неверными.
Доктор Адам Махди (Adam Mahdi), старший автор исследования, подчеркнул, что, хотя ИИ обладает огромным объемом медицинских данных, интерфейс мешает пользователям извлекать полезные и безопасные советы. Исследование фактически развенчивает миф о том, что современные потребительские инструменты ИИ готовы служить «карманными врачами».
Методология: Тестирование гигантов
Чтобы тщательно оценить безопасность ИИ в здравоохранении, исследователи провели контролируемый эксперимент с участием примерно 1300 участников из Великобритании (United Kingdom). Исследование было направлено на то, чтобы воспроизвести обычное поведение «гугления симптомов», но заменило поисковую систему на продвинутых ИИ-чат-ботов.
Участникам было представлено 10 различных медицинских сценариев: от распространенных недугов, таких как сильная головная боль после вечеринки или истощение у молодой матери, до более критических состояний, таких как камни в желчном пузыре. Участники были случайным образом распределены в одну из четырех групп:
- Пользователи GPT-4o (OpenAI).
- Пользователи Llama 3 (Meta).
- Пользователи Command R+.
- Контрольная группа: Пользователи, полагающиеся на стандартные интернет-поисковики.
Цель была двоякой: во-первых, проверить, сможет ли пользователь правильно определить медицинское состояние с помощью ИИ; и во-вторых, определить, сможет ли он выбрать правильный план действий (например, «вызвать скорую помощь», «обратиться к терапевту» или «самолечение»).
Критические сбои и несоответствия, выявленные в ходе исследования
Результаты оказались отрезвляющими для сторонников немедленного внедрения ИИ в медицину. Исследование показало, что пользователи, которым помогали ИИ-чат-боты, справились не лучше тех, кто использовал стандартные поисковые системы.
Ключевые статистические выводы:
- Точность идентификации: Пользователи, полагающиеся на ИИ, правильно определили проблему со здоровьем только примерно в 33% случаев.
- Практические советы: Только около 45% пользователей ИИ определили правильный план действий (например, стоит ли ехать в отделение неотложной помощи или остаться дома).
Более тревожным, чем посредственная точность, была непоследовательность советов. Поскольку LLM являются вероятностными — генерируют текст на основе статистической вероятности, а не фактических рассуждений, — они часто давали разные ответы на одни и те же вопросы в зависимости от незначительных изменений в формулировках.
Следующая таблица иллюстрирует конкретные сбои, наблюдавшиеся в ходе исследования, противопоставляя медицинскую реальность ответам ИИ:
Таблица: Примеры сбоев ИИ в медицинской сортировке
| Сценарий | Медицинская реальность | Ответ ИИ-чат-бота / Ошибка |
|---|---|---|
| Субарахноидальное кровоизлияние (Кровоизлияние в мозг) |
Жизнеугрожающее состояние, требующее немедленной госпитализации. |
Пользователь А: Получил совет «полежать в темной комнате» (потенциально фатальная задержка). Пользователь Б: Правильно рекомендовано обратиться за экстренной помощью. |
| Контакт экстренной службы | Пользователю в Великобритании требуются местные экстренные службы (999). |
Предоставлены неполные номера телефонов США или номер экстренной службы Австралии (000). |
| Диагностическая уверенность | Симптомы требовали физического осмотра врачом. |
Сфабрикованные диагнозы с высокой уверенностью, что заставляло пользователей преуменьшать риски. |
| Истощение молодой матери | Может указывать на анемию, проблемы с щитовидной железой или послеродовую депрессию. |
Предложены общие советы по «благополучию», игнорирующие возможные физиологические причины. |
Опасности галлюцинаций и контекстной слепоты
Один из самых тревожных эпизодов исследования касался двух участников, которым был дан один и тот же сценарий, описывающий симптомы субарахноидального кровоизлияния — типа инсульта, вызванного кровотечением на поверхности мозга. Это состояние требует немедленного медицинского вмешательства.
В зависимости от того, как пользователи формулировали свои запросы (prompts), чат-бот давал опасно противоречивые советы. Одному пользователю правильно посоветовали обратиться за экстренной помощью. Другому сказали просто отдохнуть в темной комнате. В реальной ситуации следование последнему совету могло привести к смерти или необратимому повреждению мозга.
Доктор Ребекка Пейн (Rebecca Payne), ведущий практикующий врач в исследовании, назвала эти результаты «опасными». Она отметила, что чат-боты часто не распознают срочность ситуации. В отличие от врача-человека, который обучен в первую очередь исключать наихудший сценарий (процесс, известный как дифференциальная диагностика), LLM часто цепляются за наиболее статистически вероятное (и часто безобидное) объяснение симптома, игнорируя сигналы «красных флажков», которые насторожили бы клинициста.
Кроме того, проблема «галлюцинаций» (hallucination) — когда ИИ уверенно утверждает ложную информацию — была очевидна в логистических деталях. Для пользователей из Великобритании предложение позвонить по австралийскому номеру экстренной помощи не просто бесполезно; в ситуации паники из-за медицинского кризиса это создает ненужную путаницу и задержку.
Предупреждения экспертов: ИИ — не врач
Консенсус среди оксфордских исследователей ясен: нынешнее поколение LLM не подходит для диагностических целей, ориентированных непосредственно на пациента.
«Несмотря на весь ажиотаж, ИИ просто не готов взять на себя роль врача», — заявила доктор Пейн. Она призвала пациентов быть предельно внимательными к тому, что вопросы большой языковой модели о симптомах могут привести к неправильным диагнозам и неспособности распознать необходимость срочной помощи.
Исследование также пролило свет на поведение пользователей. Исследователи заметили, что многие участники не знали, как эффективно формулировать запросы к ИИ. В отсутствие структурированного медицинского интервью (где врач задает конкретные вопросы, чтобы сузить круг возможностей), пользователи часто предоставляли неполную информацию. ИИ вместо того, чтобы попросить разъяснений, просто «угадывал» на основе неполных данных, что приводило к наблюдаемым низким показателям точности.
Будущие последствия для ИИ в здравоохранении
Это исследование служит критической проверкой реальности для индустрии цифрового здравоохранения. Хотя потенциал ИИ в оказании помощи в административных задачах, обобщении заметок или помощи обученным клиницистам в анализе данных остается высоким, модель «ИИ-врач» для конечного потребителя сопряжена с рисками ответственности и безопасности.
Путь вперед:
- Человек в контуре (Human-in-the-loop): Диагностические инструменты должны использоваться обученными медицинскими специалистами или под их наблюдением.
- Защитные механизмы (Guardrails): Разработчикам ИИ необходимо внедрить более строгие механизмы «отказа». Если пользователь вводит симптомы сердечного приступа или инсульта, модель должна, по всей видимости, отказаться от диагностики и вместо этого немедленно направить пользователя в экстренные службы.
- Регуляторный надзор: Разрыв между сдачей медицинского экзамена и лечением пациента предполагает, что регуляторам нужны новые структуры для тестирования медицинского ИИ — такие, которые имитируют реальные, запутанные человеческие взаимодействия, а не тесты с вариантами ответов.
По мере того как границы между поисковыми системами и генеративным ИИ (Generative AI) стираются, оксфордское исследование остается убедительным напоминанием: когда речь идет о здоровье, точность — это не просто показатель, это вопрос жизни и смерти. Пока ИИ не сможет продемонстрировать последовательные, безопасные рассуждения в неконтролируемых средах, «Доктор ИИ» должен оставаться экспериментальной концепцией, а не основным поставщиком первичной медицинской помощи.
