Un estudio de Oxford advierte: los chatbots de IA plantean riesgos graves al proporcionar asesoramiento médico

El atractivo de la inteligencia artificial (IA) como asistente ubicuo ha llegado al dominio crítico de la atención médica, con millones de usuarios recurriendo a los Modelos de Lenguaje de Gran Tamaño (Large Language Models, LLMs) para obtener respuestas médicas rápidas. Sin embargo, un estudio pionero liderado por la Universidad de Oxford y publicado en Nature Medicine ha emitido una advertencia tajante: confiar en los chatbots de IA para el diagnóstico médico no solo es ineficaz, sino potencialmente peligroso.

La investigación, realizada por el Oxford Internet Institute y el Nuffield Department of Primary Care Health Sciences, revela una brecha significativa entre las capacidades teóricas de la IA y su seguridad práctica en escenarios de salud del mundo real. A pesar de que los modelos de IA suelen superar con éxito los exámenes estandarizados de licencia médica, su rendimiento flaquea de manera alarmante cuando interactúan con personas legas que buscan consejos de salud prácticos.

La desconexión entre los puntos de referencia (Benchmarks) y la utilidad en el mundo real

Durante años, las empresas tecnológicas han promocionado la competencia médica de sus modelos insignia, citando a menudo puntuaciones casi perfectas en puntos de referencia (Benchmarks) como el Examen de Licencia Médica de los Estados Unidos (US Medical Licensing Exam, USMLE). Si bien estas métricas sugieren un alto nivel de conocimiento clínico, el estudio de Oxford destaca un fallo crítico en este razonamiento: aprobar un examen de opción múltiple es fundamentalmente diferente de realizar el triaje de un paciente en un entorno del mundo real.

El autor principal, Andrew Bean, y su equipo diseñaron el estudio para probar la "interacción humano-IA" en lugar de simplemente la recuperación de datos brutos de la IA. Los hallazgos sugieren que la naturaleza conversacional de los chatbots introduce variables que las pruebas estandarizadas simplemente no capturan. Cuando un usuario describe síntomas de manera coloquial, o no proporciona un contexto clave, la IA a menudo tiene dificultades para hacer las preguntas de seguimiento adecuadas, lo que genera consejos vagos, irrelevantes o tácticamente incorrectos.

El Dr. Adam Mahdi, autor principal del estudio, enfatizó que, aunque la IA posee grandes cantidades de datos médicos, la interfaz impide que los usuarios extraigan consejos útiles y seguros. El estudio desmiente eficazmente el mito de que las herramientas de IA actuales orientadas al consumidor están listas para servir como "médicos de bolsillo".

Metodología: Poniendo a prueba a los gigantes

Para evaluar rigurosamente la seguridad de la IA en la atención médica, los investigadores llevaron a cabo un experimento controlado en el que participaron aproximadamente 1,300 participantes residentes en el Reino Unido. El estudio pretendía replicar el comportamiento común de "buscar síntomas en Google", pero sustituyendo el motor de búsqueda por chatbots de IA avanzados.

A los participantes se les presentaron 10 escenarios médicos distintos, que iban desde dolencias comunes como un dolor de cabeza intenso después de una noche de fiesta o el agotamiento de una madre primeriza, hasta afecciones más críticas como cálculos biliares. Los participantes fueron asignados aleatoriamente a uno de cuatro grupos:

1. Usuarios de GPT-4o (OpenAI).
2. Usuarios de Llama 3 (Meta).
3. Usuarios de Command R+.
4. Grupo de control: Usuarios que recurren a motores de búsqueda estándar en Internet.

El objetivo era doble: primero, ver si el usuario podía identificar correctamente la condición médica con la ayuda de la IA; y segundo, determinar si podía identificar el curso de acción correcto (por ejemplo, "llamar a los servicios de emergencia", "ver a un médico de cabecera" o "autocuidado").

Fallos críticos e inconsistencias encontrados en el estudio

Los resultados fueron aleccionadores para los defensores de la integración inmediata de la IA en la medicina. El estudio encontró que los usuarios asistidos por chatbots de IA no obtuvieron mejores resultados que aquellos que utilizaron motores de búsqueda estándar.

Hallazgos estadísticos clave:

• Precisión de identificación: Los usuarios que confiaron en la IA identificaron correctamente el problema de salud solo alrededor del 33% de las veces.
• Consejos prácticos: Solo aproximadamente el 45% de los usuarios de IA determinaron el curso de acción correcto (por ejemplo, si acudir a urgencias o quedarse en casa).

Más preocupante que la precisión mediocre fue la inconsistencia de los consejos. Debido a que los LLM son probabilísticos (generan texto basándose en la probabilidad estadística en lugar del razonamiento fáctico), a menudo proporcionaban respuestas diferentes a las mismas preguntas dependiendo de ligeras variaciones en la redacción.

La siguiente tabla ilustra fallos específicos observados durante el estudio, contrastando la realidad médica con la respuesta de la IA:

Tabla: Ejemplos de fallos de la IA en el triaje médico

Los peligros de la alucinación y la ceguera al contexto

Una de las anécdotas más alarmantes del estudio involucró a dos participantes a quienes se les presentó el mismo escenario que describía síntomas de una hemorragia subaracnoidea (Subarachnoid hemorrhage), un tipo de accidente cerebrovascular causado por sangrado en la superficie del cerebro. Esta afección requiere una intervención médica inmediata.

Dependiendo de cómo los usuarios redactaron sus instrucciones, el chatbot entregó consejos peligrosamente contradictorios. A un usuario se le aconsejó correctamente buscar ayuda de emergencia. Al otro se le dijo que simplemente descansara en una habitación oscura. En un escenario del mundo real, seguir este último consejo podría resultar en la muerte o en un daño cerebral permanente.

La Dra. Rebecca Payne, médica principal del estudio, describió estos resultados como "peligrosos". Señaló que los chatbots a menudo no reconocen la urgencia de una situación. A diferencia de un médico humano, que está capacitado para descartar primero el peor de los casos (un proceso conocido como diagnóstico diferencial [Differential diagnosis]), los LLM a menudo se aferran a la explicación estadísticamente más probable (y a menudo benigna) de un síntoma, ignorando las señales de "alerta roja" que alertarían a un clínico.

Además, el problema de la "alucinación" (Hallucination), donde la IA afirma con confianza información falsa, fue evidente en los detalles logísticos. Para los usuarios en el Reino Unido, recibir la sugerencia de llamar a un número de emergencia australiano no solo es inútil; en una crisis médica que induce al pánico, añade confusión y retrasos innecesarios.

Advertencias de expertos: la IA no es un médico

El consenso entre los investigadores de Oxford es claro: la generación actual de LLM no es apta para fines de diagnóstico directo al paciente.

"A pesar de todo el bombo publicitario, la IA simplemente no está lista para asumir el papel del médico", afirmó la Dra. Payne. Instó a los pacientes a ser muy conscientes de que preguntar a un modelo de lenguaje de gran tamaño sobre los síntomas puede llevar a diagnósticos erróneos y a no reconocer cuándo se necesita ayuda urgente.

El estudio también arrojó luz sobre el comportamiento de los usuarios. Los investigadores observaron que muchos participantes no sabían cómo dar instrucciones a la IA de manera efectiva. Ante la ausencia de una entrevista médica estructurada (donde un médico hace preguntas específicas para reducir las posibilidades), los usuarios a menudo proporcionaban información incompleta. La IA, en lugar de pedir aclaraciones, simplemente "adivinaba" basándose en los datos incompletos, lo que conducía a las bajas tasas de precisión observadas.

Implicaciones futuras de la IA en la atención médica

Este estudio sirve como un control de realidad crítico para la industria de la salud digital. Si bien el potencial de la IA para ayudar en tareas administrativas, resumir notas o ayudar a clínicos capacitados a analizar datos sigue siendo alto, el modelo de "médico de IA" directo al consumidor está plagado de riesgos de responsabilidad y seguridad.

El camino a seguir:

• Humano en el bucle (Human-in-the-loop): Las herramientas de diagnóstico deben ser utilizadas por, o bajo la supervisión de, profesionales médicos capacitados.
• Salvaguardas: Los desarrolladores de IA necesitan implementar mecanismos de "rechazo" más estrictos. Si un usuario introduce síntomas de un ataque al corazón o un derrame cerebral, el modelo debería, posiblemente, negarse a diagnosticar y, en su lugar, dirigir inmediatamente al usuario a los servicios de emergencia.
• Supervisión regulatoria: La disparidad entre aprobar un examen médico y tratar a un paciente sugiere que los reguladores necesitan nuevos marcos para probar la IA médica, unos que simulen interacciones humanas reales y desordenadas en lugar de pruebas de opción múltiple.

As las líneas entre los motores de búsqueda y la IA creativa se desdibujan, el estudio de Oxford se erige como un recordatorio definitivo: cuando se trata de salud, la precisión no es solo una métrica, es una cuestión de vida o muerte. Hasta que la IA pueda demostrar un razonamiento consistente y seguro en entornos no controlados, el "Dr. IA" debería seguir siendo un concepto experimental, no un proveedor de atención primaria.