MIT-Forschung erschüttert die Annahme „Accuracy-on-the-Line“ im Maschinellen Lernen (machine learning)

Eine bahnbrechende Studie, die gestern von Forschenden des Massachusetts Institute of Technology (MIT) veröffentlicht wurde, stellt ein grundlegendes Prinzip der Bewertung im Maschinellen Lernen (machine learning) infrage und zeigt, dass Modelle, die auf aggregierten Metriken weithin als „state-of-the-art“ gelten, bei der Anwendung in neuen Umgebungen katastrophal versagen können.

Die Forschung, die auf der Konferenz Neural Information Processing Systems (NeurIPS 2025) präsentiert und am 20. Januar 2026 auf MIT News veröffentlicht wurde, offenbart eine kritische Verwundbarkeit in der derzeitigen Benchmark-Praxis von KI (AI). Das Team unter der Leitung von Associate Professor Marzyeh Ghassemi und Postdoc Olawale Salaudeen demonstrierte, dass leistungsstarke Modelle häufig auf Scheinkorrelationen (spurious correlations) — versteckte Abkürzungen in den Daten — zurückgreifen, was sie in realen Anwendungen wie medizinischer Diagnostik und der Erkennung von Hate Speech (hate speech detection) unzuverlässig und potenziell gefährlich macht.

Das „Best-to-Worst“-Paradoxon

Jahrelang ging die KI-Gemeinschaft von der Annahme „accuracy-on-the-line“ aus. Dieses Prinzip besagt, dass wenn eine Reihe von Modellen auf Basis ihrer Leistung auf einem Trainingsdatensatz (in-distribution) vom besten bis zum schlechtesten gerankt wird, diese Rangfolge auch erhalten bleibt, wenn die Modelle auf einen neuen, ungesehenen Datensatz (out-of-distribution) angewendet werden.

Die Ergebnisse des MIT-Teams haben diese Annahme faktisch zerschlagen. Ihre Analyse zeigt, dass eine hohe durchschnittliche Genauigkeit (accuracy) oft schwerwiegende Ausfälle in spezifischen Teilpopulationen kaschiert. In einigen der erschreckendsten Fälle erwies sich das auf den ursprünglichen Trainingsdaten als „best“ identifizierte Modell auf 6 bis 75 Prozent der neuen Daten als das schlechteste Modell.

„Wir zeigen, dass selbst wenn man Modelle mit großen Datenmengen trainiert und das beste Durchschnittsmodell auswählt, dieses ‚beste Modell‘ in einer neuen Umgebung das schlechteste Modell sein könnte“, sagte Marzyeh Ghassemi, Principal Investigator am Laboratory for Information and Decision Systems (LIDS).

Medizinische KI: Eine Fallstudie mit hohem Einsatz

Die Implikationen dieser Ergebnisse sind im Gesundheitswesen am gravierendsten, wo algorithmische Zuverlässigkeit über Leben und Tod entscheiden kann. Die Forschenden untersuchten Modelle, die darauf trainiert wurden, Pathologien aus Röntgenaufnahmen des Brustkorbs zu diagnostizieren — eine Standardanwendung der Computervision (computer vision) in der Medizin.

Während die Modelle im Durchschnitt robust erschienen, zeigte die detaillierte Analyse, dass sie sich eher auf Scheinkorrelationen (spurious correlations) als auf echte anatomische Merkmale stützten. Beispielsweise könnte ein Modell lernen, bestimmte radiographische Markierungen eines Krankenhauses mit einer höheren Krankheitsprävalenz zu assoziieren, anstatt die Pathologie selbst zu erkennen. Bei Anwendung auf Röntgenaufnahmen eines anderen Krankenhauses ohne diese spezifischen Markierungen brach die Vorhersagefähigkeit des Modells zusammen.

Wesentliche Erkenntnisse in der medizinischen Bildgebung:

• Modelle, die eine verbesserte Gesamtleistungsdiagnostik zeigten, schnitten bei Patienten mit bestimmten Erkrankungen, wie Pleuraergüssen (pleural effusions) oder vergrößertem Cardiomediastinum (cardiomediastinum), tatsächlich schlechter ab.
• Scheinkorrelationen (spurious correlations) waren tief in den Modellen verankert, was bedeutet, dass allein das Hinzufügen weiterer Daten das Risiko, dass das Modell falsche Merkmale lernt, nicht minderte.
• Demografische Faktoren wie Alter, Geschlecht und Rasse waren oft scheinkorreliert mit medizinischen Befunden, was zu verzerrten Entscheidungen führte.

Einführung von OODSelect: Ein neues Bewertungsparadigma

Um diesem systemischen Versagen zu begegnen, entwickelte das Forscherteam einen neuartigen algorithmischen Ansatz namens OODSelect (Out-of-Distribution Select). Dieses Werkzeug ist darauf ausgelegt, Modelle gezielt zu stresstesten, indem es die Datenuntergruppen identifiziert, in denen die Annahme „accuracy-on-the-line“ zusammenbricht.

Erstautor Olawale Salaudeen betonte, dass das Ziel darin bestehe, Modelle dazu zu zwingen, kausale Zusammenhänge zu lernen statt bequemer statistischer Abkürzungen. „Wir wollen, dass Modelle lernen, sich die anatomischen Merkmale des Patienten anzusehen und anschließend eine Entscheidung darauf zu stützen“, erklärte Salaudeen. „Aber in Wahrheit kann alles, was in den Daten mit einer Entscheidung korreliert, vom Modell verwendet werden.“

OODSelect arbeitet, indem es die „am stärksten fehlkalkulierten Beispiele“ separiert, sodass Entwickler zwischen schwer zu klassifizierenden Randfällen und echten Ausfällen durch Scheinkorrelationen unterscheiden können.

Vergleich der Bewertungsmethoden:

Über die Gesundheitsversorgung hinaus: Universelle Implikationen

Obwohl die Studie stark die medizinische Bildgebung referenzierte, validierten die Forschenden ihre Ergebnisse in weiteren kritischen Bereichen, darunter Krebs-Histopathologie (cancer histopathology) und die Erkennung von Hassrede (hate speech detection). In Aufgaben der Textklassifikation (text classification) neigen Modelle häufig dazu, sich an bestimmte Schlüsselwörter oder sprachliche Muster zu hängen, die in den Trainingsdaten mit Toxizität korrelieren, aber das Nuancierte von Hassrede in verschiedenen Online-Communities oder Kontexten nicht erfassen.

Dieses Phänomen legt nahe, dass die Vertrauenswürdigkeitskrise in der KI nicht auf hochriskante physische Domänen beschränkt ist, sondern intrinsisch damit zusammenhängt, wie Deep Learning (deep learning) Korrelation vs. Kausalität verarbeitet.

Zukünftige Richtungen für die Zuverlässigkeit von KI

Die Veröffentlichung dieser Forschung markiert einen Wendepunkt für KI-Sicherheitsstandards. Das MIT-Team hat den Code für OODSelect veröffentlicht und spezifische Datenteilmengen identifiziert, um der Gemeinschaft zu helfen, robustere Benchmarks zu entwickeln.

Die Forschenden empfehlen, dass Organisationen, die Maschinenlernmodelle (machine learning models) einsetzen — insbesondere in regulierten Branchen — über aggregierte Statistiken hinausgehen. Stattdessen plädieren sie für einen rigorosen Evaluationsprozess, der aktiv nach den Teilpopulationen sucht, in denen ein Modell versagt.

Da KI-Systeme (AI systems) zunehmend in kritische Infrastrukturen integriert werden, verschiebt sich die Definition eines „erfolgreichen“ Modells. Es reicht nicht mehr aus, die höchste Punktzahl auf einer Bestenliste (leaderboard) zu erreichen; der neue Standard für Exzellenz verlangt, dass ein Modell für jeden Nutzer in jeder Umgebung zuverlässig ist, unabhängig von Verteilungsverschiebungen.