European Commission Opens Formal Investigation Into X's Grok AI Over Safety Violations
Die Europäische Kommission hat förmlich ein Vertragsverletzungsverfahren gegen X (ehemals Twitter) eingeleitet, das sich gegen sein Generative-KI-Tool Grok (Generative AI) richtet. Angekündigt wurde die Untersuchung am Montag, dem 26. Januar 2026; sie stellt eine deutliche Verschärfung der Durchsetzung des Digital Services Act (DSA) durch die Europäische Union dar. Die Aufsichtsbehörden verweisen auf materialisierte Risiken bei der Verbreitung nicht-einvernehmlicher sexueller Abbildungen (NCII) und möglichem Material zu sexuellem Kindesmissbrauch (CSAM), die vom Chatbot erzeugt wurden, und sehen darin einen Wendepunkt für die KI-Governance in der Region.
The Catalyst: "Materialized Risks" and Public Harm
Die Untersuchung wurde durch eine Reihe alarmierender Berichte über Groks Bildgenerierungsfähigkeiten ausgelöst. Im Gegensatz zu vielen Konkurrenten, die bereits früh strikte Schutzmechanismen implementierten, wurde Grok wegen eines wahrgenommenen Mangels an Moderation kritisiert. Die Hauptsorge der Kommission gilt der Fähigkeit der KI, "manipulierte sexuell explizite Bilder" realer Personen zu erzeugen, häufig als Deepfakes bezeichnet.
Laut Kommission sind diese Risiken nicht nur theoretisch, sondern haben sich "materialisiert" und EU-Bürgerinnen und -Bürger einem ernsten Schaden ausgesetzt. Berichten zufolge konnten Nutzer Groks Funktionen nutzen, um Personen digital "auszukleiden" und sie in kompromittierende oder sexuell explizite Szenarien ohne deren Einwilligung zu setzen. Diese Fähigkeit verstößt gegen die zentralen Sicherheitsvorgaben des DSA, der Very Large Online Platforms (VLOPs) wie X vorschreibt, systemische Risiken proaktiv zu identifizieren und zu mindern.
Henna Virkkunen, die Exekutiv-Vizepräsidentin der Kommission für Tech-Souveränität, Sicherheit und Demokratie, verurteilte das Phänomen und erklärte, nicht-einvernehmliche sexuelle Deepfakes stellten eine "gewalttätige, inakzeptable Form der Erniedrigung" dar. Die Untersuchung soll klären, ob X wirksame Minderungsmaßnahmen unterlassen hat, um die Erstellung und Verbreitung solcher Inhalte zu verhindern.
Regulatory Focus: The Digital Services Act (DSA)
Dieses Verfahren unterscheidet sich von früheren Prüfungen von Xs Inhaltsmoderationsrichtlinien in Bezug auf Hassrede oder Desinformation. Es konzentriert sich speziell auf die Schnittstelle von Generative KI und der Plattformhaftung nach dem DSA. Die Kommission untersucht drei konkrete Bereiche der Nichtkonformität:
- Failure to Assess Risk: Der DSA schreibt vor, dass Plattformen vor der Einführung neuer Funktionalitäten, die das Risikoprofil der Plattform wesentlich beeinflussen können, eine umfassende Risikobewertung durchführen und einreichen müssen. Die Kommission behauptet, X habe diese "ad-hoc-Risikobewertung" nicht vor dem Rollout von Groks Bildgenerierungsfunktionen in der EU vorgelegt.
- Inadequate Mitigation Measures: Die Untersuchung wird prüfen, ob die von X behaupteten Schutzmaßnahmen technisch ausreichend waren, um die Erzeugung illegaler Inhalte, insbesondere CSAM und geschlechtsbasierter Gewalt, zu verhindern.
- Recommender Systems: Parallel dazu hat die Kommission eine bereits laufende Untersuchung (ursprünglich im Dezember 2023 eröffnet) ausgeweitet, um Xs Entscheidung zu erfassen, Grok in seine Empfehlungssysteme zu integrieren. Die Behörden befürchten, dass die Nutzung von Grok zur Zusammenstellung von Nutzer-Feeds schädliche Inhalte eher verstärken als unterdrücken könnte.
Table 1: Key Areas of the Commission's Investigation
| Investigated Area | Specific Allegation | Relevant DSA Article |
|---|---|---|
| Risk Assessment | Failure to submit a report prior to deploying Grok in the EU. | Articles 34(1) and (2) |
| Mitigation Measures | Insufficient technical guardrails against creating illegal content. | Article 35(1) |
| Recommender Systems | Use of Grok algorithms potentially amplifying systemic risks. | Article 42(2) |
X's Response and Technical Defenses
Nach der Ankündigung hat X sein Bekenntnis zur Sicherheit bekräftigt. Ein Unternehmenssprecher verwies auf eine frühere Stellungnahme, in der "Null Toleranz" gegenüber sexueller Ausbeutung von Kindern und nicht-einvernehmlicher Nacktheit betont wurde. Das Unternehmen erklärt, es arbeite aktiv daran, "Lücken" in seinen Sicherheitsprotokollen zu schließen.
Technische Experten argumentieren jedoch, dass das Problem in der Grundstruktur der Trainings- und Bereitstellungsweise von Grok liegen könnte. Indem X Grok als eine "edgier" bzw. weniger eingeschränkte Alternative zu Modellen wie ChatGPT oder Claude vermarktete, habe das Unternehmen möglicherweise unbeabsichtigt die Schwelle für schädliche Ausgaben gesenkt. Der „spicy mode“ und andere unbeschränkte Funktionen, die bei einem Teil der Nutzerschaft beliebt sind, stehen in direktem Konflikt mit den strikten Haftungsrahmen der Europäischen Union.
Berichten zufolge hat das Unternehmen einige der Bildgenerierungsfunktionen von Grok als Reaktion auf den ersten Aufschrei beschränkt, doch die EU-Regulierer erachten diese reaktiven Maßnahmen als unzureichend. Die Untersuchung zielt darauf ab festzustellen, ob die Architektur der KI selbst die erforderlichen "Safety by design"-Prinzipien gemäß europäischem Recht vermissen ließ.
Implications for the AI Industry
Diese Untersuchung setzt einen wichtigen Präzedenzfall für alle KI-Unternehmen, die in der Europäischen Union tätig sind. Sie macht deutlich, dass der DSA rigoros auf generative KI-Tools angewendet wird, die in soziale Plattformen eingebettet sind, und nicht nur auf nutzergenerierte Beiträge.
Für die gesamte KI-Branche ist die Botschaft klar: Innovationsgeschwindigkeit darf nicht zulasten von Sicherheitsbewertungen gehen. Die Pflicht, Risikobewertungen vor der Bereitstellung einzureichen, wird voraussichtlich die Veröffentlichung neuer KI-Funktionen auf dem EU-Markt im Vergleich zu den USA verlangsamen. Unternehmen, die Large Language Models (LLMs) und Bildgeneratoren entwickeln, müssen EU-Konformität nun als Voraussetzung für die technische Einführung und nicht als nachträgliche rechtliche Hürde betrachten.
Sollte X als nicht konform befunden werden, drohen erhebliche Sanktionen. Nach dem DSA können Geldstrafen bis zu 6 % des weltweiten Jahresumsatzes eines Unternehmens erreichen. Über finanzielle Sanktionen hinaus hat die Kommission die Befugnis, vorläufige Maßnahmen zu verhängen, die theoretisch X dazu zwingen könnten, die Verfügbarkeit von Grok in der EU auszusetzen, bis die Sicherheitsbedenken behoben sind.
Conclusion
Die förmlichen Verfahren der Europäischen Kommission gegen X stellen den ersten großen regulatorischen Prüfstein für generative KI unter dem Digital Services Act dar. Während die Untersuchung voranschreitet, wird sie die Grenzen der Haftung für KI-Entwickler und Plattformbetreiber gleichermaßen definieren. Für Creati.ai und den weiteren Kreativtechnologiesektor ist dies eine deutliche Erinnerung daran, dass nach Auffassung der europäischen Aufsichtsbehörden die Fähigkeit, Inhalte zu generieren, das gleiche Verantwortungsgewicht trägt wie das Hosten dieser Inhalte.
