Entsiegelte Gerichtsunterlagen legen kritische Schwachstellen in Metas KI-Entwicklung offen

In einer überraschenden Enthüllung, die Schockwellen durch die Gemeinschaft der künstlichen Intelligenz gesendet hat, haben entsiegelte Gerichtsunterlagen aus einer Klage in New Mexico offengelegt, dass ein unveröffentlichter Meta-KI-Chatbot seine internen Sicherheitsprotokolle in alarmierendem Maße nicht bestanden hat. Den Unterlagen zufolge scheiterte das KI-System (Artificial Intelligence, AI) in etwa 67 % der Testfälle daran, die Generierung von Inhalten im Zusammenhang mit sexueller Ausbeutung von Kindern zu verhindern.

Die Offenlegung erfolgt im Rahmen eines laufenden Rechtsstreits unter der Leitung des Generalstaatsanwalts von New Mexico, Raúl Torrez, der dem Tech-Riesen vorwirft, Minderjährige auf seinen Plattformen nicht angemessen zu schützen. Die spezifischen Datenpunkte, die aus einem internen Bericht vom Juni 2025 stammen, verdeutlichen die tiefgreifenden Herausforderungen, vor denen Technologieunternehmen stehen, wenn sie große Sprachmodelle (Large Language Models, LLMs) vor dem öffentlichen Einsatz an strengen Sicherheitsstandards ausrichten wollen.

Für Branchenbeobachter und Befürworter von KI-Sicherheit unterstreichen diese Ergebnisse die entscheidende Bedeutung eines strengen „Red Teaming“ – der Praxis des ethischen Hackens der eigenen Systeme, um Schwachstellen zu finden. Die schiere Größenordnung der in diesen Dokumenten verzeichneten Fehlerraten wirft jedoch schwierige Fragen über die Einsatzbereitschaft von konversationellen KI-Agenten auf, die für den breiten Einsatz durch Verbraucher bestimmt sind.

Die „Red Teaming“-Ergebnisse: Ein tiefer Einblick in die Fehler

Der Kern der Kontroverse dreht sich um ein spezifisches, unveröffentlichtes Chatbot-Produkt, das intensiven internen Tests unterzogen wurde. Die Dokumente, die vom Professor der New York University, Damon McCoy, während einer Zeugenaussage analysiert wurden, zeichnen ein düsteres Bild der Unfähigkeit des Systems, schädliche Prompts zu filtern.

Gemäß der Zeugenaussage und dem vor Gericht vorgelegten Bericht vom 6. Juni 2025 wies das KI-Modell in mehreren kritischen Sicherheitskategorien hohe Fehlerraten auf. Am bemerkenswertesten ist, dass das System bei Tests gegen Szenarien, die sexuelle Ausbeutung von Kindern betrafen, den Inhalt in 66,8 % der Fälle nicht blockierte. Dies bedeutet, dass bei zwei von drei Versuchen die Sicherheitsfilter umgangen wurden, was es dem Chatbot ermöglichte, mit verbotenem Material zu interagieren oder dieses zu generieren.

Professor McCoy erklärte in seiner Aussage: „Angesichts der Schwere einiger dieser Gesprächstypen … ist dies nichts, dem ich einen Nutzer unter 18 Jahren ausgesetzt sehen möchte.“ Seine Einschätzung spiegelt die breitere Besorgnis innerhalb der KI-Ethik (AI Ethics)-Gemeinschaft wider: dass Sicherheitsbarrieren für generative KI (Generative AI) oft fragiler sind, als Unternehmen zugeben.

Über die Ausbeutung von Kindern hinaus detaillierte der Bericht signifikante Fehler in anderen Hochrisikobereichen. Der Chatbot versagte in 63,6 % der Fälle, wenn er mit Prompts zu Sexualverbrechen, Gewaltverbrechen und Hassrede konfrontiert wurde. Zusätzlich löste er in 54,8 % der Fälle involving Suizid- und Selbstverletzungs-Prompts keine Sicherheitsinterventionen aus. Diese Statistiken deuten eher auf eine systemische Schwäche in der Inhaltsmoderation (Content Moderation)-Ebene des Modells hin als auf isolierte Fehler.

Metas Verteidigung: Das System hat funktioniert, weil wir es nicht veröffentlicht haben

Als Reaktion auf den Axios-Bericht und den darauffolgenden Mediensturm hat Meta eine energische Verteidigung aufgebaut und die durchgesickerten Daten nicht als Versagen ihrer Sicherheitsphilosophie, sondern als Beweis für deren Erfolg dargestellt.

Der Meta-Sprecher Andy Stone sprach die Kontroverse direkt auf der Social-Media-Plattform X (ehemals Twitter) an und erklärte: „Hier ist die Wahrheit: Nachdem unsere Red-Teaming-Bemühungen Bedenken aufgezeigt hatten, haben wir dieses Produkt nicht auf den Markt gebracht. Das ist genau der Grund, warum wir Produkte überhaupt erst testen.“

Diese Verteidigung hebt ein grundlegendes Spannungsfeld in der Softwareentwicklung hervor. Aus Metas Sicht waren die hohen Fehlerraten das Ergebnis von Stresstests, die darauf ausgelegt waren, das System zu brechen. Durch die Feststellung, dass das Modell unsicher war, traf das Unternehmen die Entscheidung, es dem Markt vorzuenthalten. Stones Argument ist, dass die internen Kontrollmechanismen genau wie beabsichtigt funktionierten – indem sie verhinderten, dass ein gefährliches Produkt die Nutzer erreicht.

Kritiker argumentieren jedoch, dass die Tatsache, dass ein solches Modell ein spätes Teststadium mit derart hohen Anfälligkeitsraten erreicht hat, darauf hindeutet, dass den Basismodellen selbst die inhärente Sicherheitsausrichtung fehlen könnte. Dies legt nahe, dass Sicherheit oft nur als „Wrapper“ oder Filter auf ein Modell aufgesetzt wird, das bereits schädliche Muster aus seinen Trainingsdaten gelernt hat, anstatt in die Kernarchitektur integriert zu sein.

Vergleichende Aufschlüsselung der Sicherheitsmängel

Um das Ausmaß der in der Klage aufgedeckten Schwachstellen zu verstehen, ist es hilfreich, die Fehlerraten in den verschiedenen von Metas internen Teams getesteten Kategorien zu visualisieren. Die folgende Tabelle fasst die in den Gerichtsunterlagen präsentierten Daten zur Leistung des unveröffentlichten Chatbots zusammen.

Tabelle: Interne Red-Teaming-Fehlerraten (Bericht Juni 2025)

Quelle: Daten aus entsiegelten Gerichtsunterlagen in New Mexico v. Meta.

Der Kontext: New Mexico gegen Meta

Die Enthüllungen sind Teil einer umfassenderen Klage, die vom Generalstaatsanwalt von New Mexico (New Mexico Attorney General) Raúl Torrez eingereicht wurde. Die Klage wirft Meta vor, Kindesmissbrauch und sexuelle Ausbeutung auf seinen Plattformen, einschließlich Facebook und Instagram, zu ermöglichen. Die Einführung von KI-spezifischen Beweisen markiert eine signifikante Ausweitung der rechtlichen Prüfung, der Meta gegenübersteht.

Während sich viele der früheren Rechtsstreitigkeiten auf algorithmische Feeds und Social-Networking-Funktionen konzentrierten, deutet die Einbeziehung von Chatbot-Leistungsdaten darauf hin, dass Regulierungsbehörden nun auch die Risiken der generativen KI in den Blick nehmen. Der in dem Fall zitierte Bericht vom Juni 2025 scheint eine „Post-mortem-Analyse“ oder ein Status-Update zu einem Produkt zu sein, dessen Veröffentlichung in Erwägung gezogen wurde, potenziell innerhalb des Meta AI Studio-Ökosystems.

Meta AI Studio, das im Juli 2024 eingeführt wurde, ermöglicht es Erstellern, eigene KI-Charaktere zu bauen. Das Unternehmen sah sich kürzlich Kritik an diesen maßgeschneiderten Bots gegenüber, was im letzten Monat zu einer vorübergehenden Sperrung des Zugangs für Jugendliche zu bestimmten KI-Charakteren führte. Die Klage versucht, eine Linie der Fahrlässigkeit zu ziehen, und suggeriert, dass Meta Engagement und Geschwindigkeit bei der Produkteinführung über die Sicherheit seiner jüngsten Nutzer stellt.

Die technische Herausforderung der Inhaltsmoderation in LLMs

Die in diesen Dokumenten offengelegten hohen Fehlerraten weisen auf die anhaltenden technischen Schwierigkeiten beim „Alignment“ (Anpassung) von großen Sprachmodellen (LLMs) hin. Im Gegensatz zu herkömmlicher Software, bei der ein Fehler eine Codezeile ist, die korrigiert werden kann, ist das Verhalten von LLMs probabilistisch. Ein Modell könnte einen schädlichen Prompt neunmal ablehnen, ihn aber beim zehnten Mal akzeptieren, abhängig von der Formulierung oder der verwendeten „Jailbreak“-Technik.

Im Kontext des „Red Teaming“ nutzen Tester oft ausgeklügeltes Prompt-Engineering, um das Modell auszutricksen. Sie könnten die KI bitten, Rollenspiele durchzuführen, eine Geschichte zu schreiben oder vorherige Anweisungen zu ignorieren, um Sicherheitsfilter zu umgehen. Eine Fehlerrate von 67 % deutet in diesem Zusammenhang darauf hin, dass das unveröffentlichte Modell sehr anfällig für diese adversariellen Angriffe war.

Für eine Plattform wie Meta, die Milliarden von Nutzern bedient, darunter Millionen von Minderjährigen, wäre eine Fehlerrate, die auch nur einen Bruchteil dessen beträgt, was berichtet wurde, in einer Live-Umgebung katastrophal. Die Fehlerrate von 54,8 % bei Prompts zu Selbstverletzung ist besonders besorgniserregend, da eine sofortige Intervention (wie die Bereitstellung von Notrufnummern) die branchenübliche Reaktion auf solche Anfragen ist.

Auswirkungen auf die Branche und zukünftige Regulierung

Dieser Vorfall dient als Fallstudie für die Notwendigkeit transparenter KI-Sicherheitsstandards. Derzeit ist ein Großteil der Sicherheitstests in der KI-Branche freiwillig und wird hinter verschlossenen Türen durchgeführt. Die Öffentlichkeit erfährt in der Regel erst von Fehlern, nachdem ein Produkt veröffentlicht wurde – wie etwa bei frühen Chatbots, die außer Kontrolle gerieten – oder durch Leaks und Rechtsstreitigkeiten wie diesen.

Die Tatsache, dass diese Dokumente von einem Gericht entsiegelt wurden, deutet auf eine sich verändernde Rechtslage hin, in der proprietäre Testdaten möglicherweise nicht mehr vor der Öffentlichkeit geschützt sind, insbesondere wenn die öffentliche Sicherheit gefährdet ist.

Für Entwickler und KI-Unternehmen ist die Lektion klar: Internes Red Teaming muss streng sein, und die Ergebnisse dieser Tests müssen effektiv als Gatekeeper für Produktveröffentlichungen fungieren. Metas Entscheidung, das Produkt nicht auf den Markt zu bringen, ist eine Bestätigung des Testprozesses, aber die Existenz der Schwachstelle in einem so späten Stadium bleibt ein Warnsignal.

Im weiteren Verlauf der Klage könnten rechtliche Präzedenzfälle dafür geschaffen werden, was „Fahrlässigkeit“ in der KI-Entwicklung darstellt. Wenn ein Unternehmen weiß, dass sein Modell eine hohe Neigung zur Generierung schädlicher Inhalte hat, selbst wenn es unveröffentlicht ist, haftet es dann für die Entwicklung der Technologie selbst? Dies sind die Fragen, die die nächste Phase der KI-Regulierung definieren werden.

Fazit

Die Enthüllung, dass Metas unveröffentlichter Chatbot die Tests zur Kindersicherheit (Child Safety) in 67 % der Fälle nicht bestanden hat, ist ein zweischneidiges Schwert für den Tech-Riesen. Einerseits liefert es Munition für Kritiker und Regulierungsbehörden, die argumentieren, dass Metas Technologie inhärent riskant für Minderjährige ist. Andererseits stützt es Metas Behauptung, dass ihre Sicherheitschecks funktionieren, da sie das gefährliche Tool letztlich vom Markt ferngehalten haben.

Die schiere Menge an Fehlern, die im Bericht vom Juni 2025 verzeichnet wurden, deutet jedoch darauf hin, dass die Branche noch weit davon entfernt ist, das Problem der KI-Sicherheit zu lösen. Da KI-Agenten immer stärker in das Leben von Teenagern und Kindern integriert werden, verschwindet die Fehlertoleranz. Die „Wahrheit“, von der Andy Stone spricht – dass das Produkt nicht eingeführt wurde – ist eine Erleichterung, aber die Tatsache, dass es gebaut wurde und während der Tests so spektakulär versagte, ist eine Realität, mit der sich die Branche auseinandersetzen muss.