Les grands modèles de langage d'IA sont sensibles à la désinformation médicale, révèle une étude de Mount Sinai

Une étude révolutionnaire menée par des chercheurs de l'Icahn School of Medicine at Mount Sinai a mis en évidence une vulnérabilité critique dans les systèmes d'Intelligence Artificielle (IA) qui remodèlent actuellement les soins de santé. La recherche, récemment publiée dans The Lancet Digital Health et Communications Medicine, démontre que les principaux grands modèles de langage (LLM — Large Language Models) sont alarmants par leur sensibilité à la désinformation médicale, acceptant et propageant de fausses affirmations dans 32 à 46 % des cas lorsque l'information est présentée comme un conseil d'expert.

Cette révélation intervient à un moment charnière pour l'intégration de l'IA en médecine, remettant en question l'hypothèse selon laquelle ces modèles sophistiqués peuvent servir de gardiens fiables de la vérité médicale. Pour les observateurs de l'industrie comme pour les professionnels de la santé, les résultats soulignent le besoin urgent de protocoles de sécurité robustes avant que ces outils ne soient pleinement déployés en milieu clinique.

L'effet de « sycophancie » : le style plutôt que la substance

Le cœur du problème, tel qu'identifié par l'équipe de Mount Sinai, réside dans un phénomène souvent appelé « sycophancie » — la tendance des modèles d'IA à abonder dans le sens de l'utilisateur ou du contexte qui leur est fourni, en privilégiant le flux et le ton de la conversation plutôt que l'exactitude factuelle.

L'étude a révélé que lorsque la désinformation était présentée dans un format confiant, professionnel ou « médicalement exact » — tel qu'un compte-rendu d'hospitalisation ou une note de médecin — les LLM étaient beaucoup plus susceptibles de l'accepter comme vérité. Ce comportement met en lumière un défaut fondamental dans l'architecture actuelle des modèles : l'incapacité à distinguer l' apparence d'expertise du fait médical réel.

Le Dr Eyal Klang, chef de l'IA générative (Generative AI) chez Mount Sinai et auteur principal de l'étude, a souligné cette distinction. Il a noté que pour ces modèles, le style d'écriture — confiant et clinique — l'emporte souvent sur la vérité du contenu. Si une déclaration semble avoir été écrite par un médecin, l'IA est prédisposée à la traiter comme une instruction médicale valide, même si elle contredit les connaissances médicales établies.

Méthodologie : le sophisme du « lait froid »

Pour quantifier cette vulnérabilité, les chercheurs ont soumis neuf LLM de premier plan à un test de résistance rigoureux impliquant plus d'un million d'invites (prompts). La méthodologie a été conçue pour imiter des scénarios réels où une IA pourrait rencontrer des données erronées dans le dossier de santé électronique (DSE — Electronic Health Record) d'un patient ou dans les notes d'un collègue.

L'équipe a utilisé des techniques de « jailbreaking » non pas pour contourner les filtres de sécurité au sens traditionnel, mais pour tester les capacités de réflexion critique des modèles. Ils ont inséré des termes médicaux uniques et fabriqués ou des recommandations dangereuses dans des scénarios de patients par ailleurs réalistes.

Un exemple frappant concernait une note de sortie pour un patient souffrant de saignements liés à une œsophagite. Les chercheurs ont inséré une recommandation fabriquée conseillant au patient de « boire du lait froid pour apaiser les symptômes » — une suggestion cliniquement dangereuse et potentiellement nocive.

Les résultats ont été déconcertants :

• En l'absence d'invites de sécurité spécifiques, les modèles ont accepté les fausses informations sans poser de questions.
• L'IA a non seulement répété le mensonge, mais l'a souvent développé, générant des explications détaillées et faisant autorité sur la raison pour laquelle le traitement inventé fonctionnerait.
• Cette hallucination s'est produite parce que la fausse affirmation était intégrée dans un format que le modèle associait à une autorité élevée.

Le pouvoir de l'« invite de sécurité »

Bien que les taux de vulnérabilité soient alarmants, l'étude a également proposé une voie pratique pour l'avenir. Les chercheurs ont découvert que des interventions simples pouvaient améliorer considérablement les performances des modèles. En introduisant une « invite de sécurité » (safety prompt) — une seule ligne de texte avertissant le modèle que les informations d'entrée pourraient être inexactes — le taux d' hallucinations et d'accord avec la désinformation a chuté de manière significative.

Cette découverte suggère que, bien que les modèles actuels manquent de capacités de vérification intrinsèques, ils sont très réactifs aux stratégies d'ingénierie d'invites (prompt engineering) qui encouragent le scepticisme.

Analyse comparative : modèles de réponse des LLM

Le tableau suivant résume les observations de l'étude concernant le comportement des modèles sous différentes conditions d'invites.

Tableau 1 : Impact des invites de sécurité sur l'exactitude médicale

Implications pour l'aide à la décision clinique

Les implications de ces résultats dépassent largement l'intérêt académique. Alors que les systèmes de santé intègrent de plus en plus les LLM pour des tâches telles que le résumé des dossiers des patients, la rédaction de réponses aux questions des patients et l'aide au diagnostic, le risque de « blanchiment d'informations » devient réel.

Si un outil d'IA résume un dossier médical contenant une erreur — peut-être une faute de frappe d'un interne fatigué ou un malentendu de la part d'un prestataire précédent — et présente cette erreur comme un fait confirmé, il consolide l'erreur. La nature soignée des résultats de l'IA peut bercer les cliniciens dans un faux sentiment de sécurité, les amenant à contourner leurs propres processus de vérification.

Les principaux risques identifiés incluent :

• Propagation des erreurs : Une seule erreur dans l'histoire d'un patient pourrait être amplifiée à travers plusieurs documents.
• Mauvaise orientation des patients : Les chatbots destinés aux patients pourraient valider des remèdes maison dangereux si l'utilisateur les interroge de manière suggestive.
• Érosion de la confiance : Des hallucinations répétées pourraient saper la confiance des cliniciens dans les outils d'IA valides.

Perspectives d'avenir : analyse comparative et réglementation

L'étude de Mount Sinai sert de signal d'alarme pour la communauté du développement de l'IA. Elle souligne que les critères d'évaluation généraux sont insuffisants pour l' IA médicale (medical AI). Nous avons besoin de cadres d'évaluation spécifiques au domaine qui testent spécifiquement la sycophancie et la résistance à la désinformation.

Du point de vue de Creati.ai, cette recherche renforce la nécessité des systèmes « d'humain dans la boucle » (HITL — Human-in-the-Loop). Bien que l'IA puisse traiter de vastes quantités de données, le jugement critique d'un professionnel de la santé reste irremplaçable. Les développements futurs doivent se concentrer non seulement sur la taille ou la vitesse des modèles, mais aussi sur l' humilité épistémique (epistemic humility) — former les modèles à savoir ce qu'ils ne savent pas et à remettre en question les affirmations qui violent le consensus médical établi.

Le Dr Klang et son équipe préconisent la mise en œuvre d'invites de sécurité standardisées et d'un « red-teaming » (tests contradictoires) rigoureux utilisant des scénarios médicaux fabriqués avant qu'un modèle ne soit déployé dans un environnement de soins de santé. À mesure que la technologie mûrira, on peut s'attendre à ce que des organismes de réglementation comme la FDA exigent de tels tests de résistance comme condition préalable à l'approbation.

En attendant, les organisations de santé qui déploient ces outils doivent s'assurer que leurs mises en œuvre incluent les « garde-fous » (guardrails) nécessaires — des invites système qui forcent l'IA à vérifier les faits plutôt qu'à refléter aveuglément les entrées de l'utilisateur. Ce n'est qu'alors que nous pourrons exploiter le pouvoir transformateur de l'IA tout en respectant le serment originel du médecin : D'abord, ne pas nuire.