Oxford-Studie warnt: KI-Chatbots stellen ernsthafte Risiken bei der Bereitstellung medizinischer Ratschläge dar

Die Verlockung von Künstlicher Intelligenz (Artificial Intelligence, AI) als allgegenwärtiger Assistent hat den kritischen Bereich des Gesundheitswesens erreicht, wobei Millionen von Nutzern Große Sprachmodelle (Large Language Models, LLMs) für schnelle medizinische Antworten nutzen. Eine bahnbrechende Studie unter der Leitung der University of Oxford, die in Nature Medicine veröffentlicht wurde, hat jedoch eine eindringliche Warnung ausgesprochen: Sich bei medizinischen Diagnosen auf KI-Chatbots zu verlassen, ist nicht nur ineffektiv, sondern potenziell gefährlich.

Die Forschung, die vom Oxford Internet Institute und dem Nuffield Department of Primary Care Health Sciences durchgeführt wurde, offenbart eine erhebliche Lücke zwischen den theoretischen Fähigkeiten der KI und ihrer praktischen Sicherheit in realen Gesundheitsszenarien. Obwohl KI-Modelle häufig standardisierte medizinische Zulassungsprüfungen mit Bravour bestehen, sinkt ihre Leistung alarmierend, wenn sie mit Laien interagieren, die umsetzbare Gesundheitsratschläge suchen.

Der Gegensatz zwischen Benchmarks und praktischem Nutzen

Seit Jahren werben Technologieunternehmen mit der medizinischen Kompetenz ihrer Flaggschiff-Modelle und führen dabei oft nahezu perfekte Ergebnisse in Benchmarks wie dem US-Medizinexamen (US Medical Licensing Exam, USMLE) an. Während diese Metriken ein hohes Maß an klinischem Wissen suggerieren, hebt die Oxford-Studie einen entscheidenden Mangel in dieser Argumentation hervor: Das Bestehen einer Multiple-Choice-Prüfung unterscheidet sich grundlegend von der Triage eines Patienten in einer realen Umgebung.

Der Hauptautor Andrew Bean und sein Team konzipierten die Studie, um die „Mensch-KI-Interaktion“ zu testen und nicht nur den reinen Datenabruf der KI. Die Ergebnisse legen nahe, dass die dialogorientierte Natur von Chatbots Variablen einführt, die standardisierte Tests schlichtweg nicht erfassen. Wenn ein Benutzer Symptome umgangssprachlich beschreibt oder es versäumt, den wichtigen Kontext zu liefern, hat die KI oft Schwierigkeiten, die richtigen Folgefragen zu stellen, was zu Ratschlägen führt, die vage, irrelevant oder sachlich falsch sind.

Dr. Adam Mahdi, ein Senior-Autor der Studie, betonte, dass die KI zwar über enorme Mengen an medizinischen Daten verfügt, die Schnittstelle die Nutzer jedoch daran hindert, nützliche und sichere Ratschläge zu extrahieren. Die Studie räumt effektiv mit dem Mythos auf, dass aktuelle, an Verbraucher gerichtete KI-Tools bereit sind, als „Taschenärzte“ zu fungieren.

Methodik: Testen der Giganten

Um die Sicherheit der KI im Gesundheitswesen streng zu bewerten, führten die Forscher ein kontrolliertes Experiment mit etwa 1.300 Teilnehmern im Vereinigten Königreich (United Kingdom, UK) durch. Die Studie zielte darauf ab, das übliche Verhalten des „Googelns von Symptomen“ nachzuahmen, ersetzte jedoch die Suchmaschine durch fortschrittliche KI-Chatbots.

Den Teilnehmern wurden 10 verschiedene medizinische Szenarien präsentiert, die von alltäglichen Beschwerden wie starken Kopfschmerzen nach dem Ausgehen oder Erschöpfung bei einer frischgebackenen Mutter bis hin zu kritischeren Zuständen wie Gallensteinen reichten. Die Teilnehmer wurden zufällig einer von vier Gruppen zugeordnet:

1. Nutzer von GPT-4o (OpenAI).
2. Nutzer von Llama 3 (Meta).
3. Nutzer von Command R+.
4. Kontrollgruppe: Nutzer, die sich auf Standard-Internetsuchmaschinen verlassen.

Das Ziel war zweifach: Erstens sollte festgestellt werden, ob der Nutzer die medizinische Erkrankung mithilfe der KI korrekt identifizieren konnte; zweitens sollte ermittelt werden, ob sie die richtige Vorgehensweise (z. B. „Notruf rufen“, „einen Hausarzt (General Practitioner, GP) aufsuchen“ oder „Selbstpflege“) bestimmen konnten.

Kritische Fehler und Inkonsistenzen in der Studie

Die Ergebnisse waren ernüchternd für die Befürworter einer sofortigen KI-Integration in der Medizin. Die Studie ergab, dass Nutzer, die von KI-Chatbots unterstützt wurden, nicht besser abschnitten als diejenigen, die Standard-Suchmaschinen verwendeten.

Wichtigste statistische Ergebnisse:

• Genauigkeit der Identifizierung: Nutzer, die sich auf KI verließen, identifizierten das Gesundheitsproblem nur in etwa 33 % der Fälle korrekt.
• Umsetzbare Ratschläge: Nur etwa 45 % der KI-Nutzer fanden die richtige Vorgehensweise heraus (z. B. ob sie in die Notaufnahme gehen oder zu Hause bleiben sollten).

Besorgniserregender als die mittelmäßige Genauigkeit war die Inkonsistenz der Ratschläge. Da LLMs probabilistisch sind – sie generieren Text auf der Grundlage statistischer Wahrscheinlichkeiten und nicht auf der Grundlage sachlicher Logik –, gaben sie auf dieselben Fragen oft unterschiedliche Antworten, je nach geringfügigen Abweichungen in der Formulierung.

Die folgende Tabelle veranschaulicht spezifische Fehler, die während der Studie beobachtet wurden, und stellt die medizinische Realität der KI-Ausgabe gegenüber:

Tabelle: Beispiele für KI-Fehler bei der medizinischen Triage

Die Gefahren von Halluzinationen und Kontextblindheit

Eine der alarmierendsten Anekdoten der Studie betraf zwei Teilnehmer, denen dasselbe Szenario vorgegeben wurde, das die Symptome einer Subarachnoidalblutung (Subarachnoid Hemorrhage) beschrieb – eine Art Schlaganfall, der durch eine Blutung auf der Gehirnoberfläche verursacht wird. Dieser Zustand erfordert sofortige medizinische Intervention.

Je nachdem, wie die Nutzer ihre Eingabeaufforderungen formulierten, lieferte der Chatbot gefährlich widersprüchliche Ratschläge. Einem Nutzer wurde korrekt geraten, Notfallhilfe zu suchen. Dem anderen wurde gesagt, er solle sich einfach in einem dunklen Raum ausruhen. In einem realen Szenario könnte das Befolgen des letzteren Ratschlags zum Tod oder zu dauerhaften Hirnschäden führen.

Dr. Rebecca Payne, die leitende Medizinerin der Studie, bezeichnete diese Ergebnisse als „gefährlich“. Sie stellte fest, dass Chatbots oft die Dringlichkeit einer Situation nicht erkennen. Im Gegensatz zu einem menschlichen Arzt, der darauf geschult ist, zuerst das schlimmste Szenario auszuschließen (ein Prozess, der als Differentialdiagnose (Differential Diagnosis) bekannt ist), klammern sich LLMs oft an die statistisch wahrscheinlichste (und oft harmlose) Erklärung für ein Symptom und ignorieren Warnsignale, die einen Kliniker alarmieren würden.

Darüber hinaus war das Problem der „Halluzination“ – bei der die KI selbstbewusst falsche Informationen behauptet – in logistischen Details offensichtlich. Für Nutzer im UK ist der Vorschlag, eine australische Notrufnummer anzurufen, nicht nur wenig hilfreich; in einer panikauslösenden medizinischen Krise sorgt dies für unnötige Verwirrung und Verzögerung.

Expertenwarnungen: KI ist kein Arzt

Der Konsens unter den Oxford-Forschern ist klar: Die aktuelle Generation von LLMs ist nicht für Diagnosezwecke direkt am Patienten geeignet.

„Trotz des ganzen Hypes ist die KI einfach noch nicht bereit, die Rolle des Arztes zu übernehmen“, erklärte Dr. Payne. Sie forderte die Patienten auf, sich darüber im Klaren zu sein, dass das Befragen eines großen Sprachmodells zu Symptomen zu falschen Diagnosen führen kann und dazu, dass nicht erkannt wird, wann dringende Hilfe benötigt wird.

Die Studie beleuchtete auch das Nutzerverhalten. Die Forscher beobachteten, dass viele Teilnehmer nicht wussten, wie sie die KI effektiv abfragen sollten. In Ermangelung eines strukturierten medizinischen Gesprächs (bei dem ein Arzt spezifische Fragen stellt, um die Möglichkeiten einzugrenzen), lieferten die Nutzer oft unvollständige Informationen. Anstatt um Klärung zu bitten, „riet“ die KI einfach auf der Grundlage der unvollständigen Daten, was zu den beobachteten schlechten Genauigkeitsraten führte.

Zukünftige Auswirkungen auf die KI im Gesundheitswesen

Diese Studie dient als kritischer Realitätscheck für die digitale Gesundheitsbranche. Während das Potenzial der KI bei der Unterstützung administrativer Aufgaben, der Zusammenfassung von Notizen oder der Unterstützung geschulter Kliniker bei der Datenanalyse hoch bleibt, ist das Modell des „KI-Arztes“ für Endverbraucher mit Haftungs- und Sicherheitsrisiken behaftet.

Der Weg nach vorn:

• Mensch-in-der-Schleife: Diagnosewerkzeuge müssen von oder unter der Aufsicht von geschultem medizinischem Fachpersonal verwendet werden.
• Leitplanken: KI-Entwickler müssen strengere „Verweigerungs“-Mechanismen implementieren. Wenn ein Nutzer Symptome eines Herzinfarkts oder Schlaganfalls eingibt, sollte das Modell die Diagnose verweigern und den Nutzer stattdessen sofort an den Notdienst verweisen.
• Regulatorische Aufsicht: Die Diskrepanz zwischen dem Bestehen einer medizinischen Prüfung und der Behandlung eines Patienten deutet darauf hin, dass Regulierungsbehörden neue Rahmenbedingungen für das Testen medizinischer KI benötigen – solche, die reale, ungeordnete menschliche Interaktionen simulieren und nicht Multiple-Choice-Tests.

Da die Grenzen zwischen Suchmaschinen und kreativer KI verschwimmen, steht die Oxford-Studie als definitive Mahnung: Wenn es um die Gesundheit geht, ist Genauigkeit nicht nur eine Metrik – sie ist eine Frage von Leben und Tod. Bis die KI eine konsistente, sichere Argumentation in unkontrollierten Umgebungen nachweisen kann, sollte „Dr. KI“ ein experimentelles Konzept bleiben und kein primärer Gesundheitsdienstleister.