AI-Driven Harm Reports Surge 50% as Deepfake Incidents Eclipse Traditional Failures

Die Landschaft der Sicherheit künstlicher Intelligenz (artificial intelligence) verändert sich dramatisch. Laut einer neuen Analyse der Daten aus der AI Incident Database (AIID) sind die gemeldeten Zwischenfälle im Zusammenhang mit KI von 2022 bis 2024 um 50% im Jahresvergleich angestiegen. Noch besorgniserregender sind die Daten aus den ersten zehn Monaten des Jahres 2025, die darauf hindeuten, dass das laufende Jahr bereits die Gesamtzahl von 2024 übertroffen hat und damit eher auf einen beschleunigenden Trend als auf eine vorübergehende Spitze hinweist.

Für Branchenbeobachter und Stakeholder bei Creati.ai bestätigt diese Daten einen entscheidenden Wandel in der Natur des technologischen Risikos. Während KI-Zwischenfälle einst von Fehlern autonomer Fahrzeuge oder algorithmischer Verzerrungen in statischen Systemen dominiert wurden, hat die Verbreitung von generativer KI (Generative AI) eine neue Ära eingeleitet, die durch Deepfakes, böswillige Nutzung und synthetische Medienbetrügereien geprägt ist.

The Shift from Accidents to Malicious Use

Die auffälligste Erkenntnis in den jüngsten Daten ist die grundlegende Veränderung darin, wie KI Schaden verursacht. Zwischen 2018 und 2022 waren die Haupttreiber der gemeldeten Zwischenfälle oft Systemgrenzen – selbstfahrende Autos, die Radfahrer nicht erkennen, oder Gesichtserkennungssysteme mit rassistischen Verzerrungen. Allerdings hat die Veröffentlichung leistungsfähiger generativer Modelle diese Dynamik umgekehrt.

Seit 2023 übersteigen Zwischenfälle, die konkret mit Deepfake-Video in Verbindung stehen, die Meldungen zu autonomen Fahrzeugen, Gesichtserkennung und Content-Moderations-Algorithmen zusammen genommen. Dies markiert den Übergang von „KI-Unfällen“ (bei denen das System nicht wie beabsichtigt funktioniert) hin zur „böswilligen Nutzung“ (bei der das System genau wie beabsichtigt arbeitet, aber für schädliche Zwecke eingesetzt wird).

Wesentliche Trends, die in der Analyse identifiziert wurden, umfassen:

• Böswillige Akteure: Meldungen über Personen, die KI nutzen, um Opfer zu betrügen oder Desinformation zu verbreiten, sind seit 2022 um das 8-fache gestiegen.
• Generative Dominanz: Deepfake-Videos und Probleme bei der Bildgenerierung dominieren inzwischen die Zwischenfallprotokolle, angetrieben durch die zunehmende Zugänglichkeit von Werkzeugen wie Midjourney, OpenAI’s Sora und xAI’s Grok.
• Cybersicherheitsrisiken: In sensiblen Bereichen entstehen neue Bedrohungen, etwa die Übernahme von Coding-Assistenten für Cyberangriffe.

Analyzing the Incident Data

Um das Ausmaß dieses Problems zu verstehen, ist es wichtig, die Rohdaten der AI Incident Database und der Forscher von MIT FutureTech zu betrachten. Die Entwicklung zeigt einen exponentiellen Anstieg gemeldeter Schäden, der mit der breiten Veröffentlichung von Großen Sprachmodellen (Large Language Models) korreliert.

Yearly Reported AI Incidents (2020-2024)

Data Source: AI Incident Database / MIT AI Incident Tracker

Daniel Atherton, ein Redakteur der AI Incident Database, betont, dass diese Zahlen wahrscheinlich nur die Spitze des Eisbergs sind. „KI verursacht bereits reale Schäden“, bemerkt Atherton. „Ohne das Tracking von Fehlern können wir sie nicht beheben.“ Er warnt, dass Crowd-sourced Daten Einschränkungen haben, derzeit jedoch eines der wenigen praktikablen Fenster in das Ausmaß des Problems darstellen, da die Unternehmensberichterstattung fragmentiert bleibt.

The "Unknown Developer" Problem

Eine der komplexesten Herausforderungen für Regulierungsbehörden und Sicherheitsforscher ist die Attribution. Während große Tech-Giganten in Berichten aufgrund ihrer hohen Sichtbarkeit häufig genannt werden, wird ein erheblicher Teil des KI-Schadens von Werkzeugen erzeugt, bei denen der zugrunde liegende Entwickler nicht identifiziert werden kann.

Seit 2023 war bei mehr als einem Drittel aller gemeldeten Zwischenfälle der Entwickler als „Unknown“ angegeben. Dies tritt häufig im Kontext von Social-Media-Betrügereien auf, bei denen ein Nutzer auf eine Deepfake-Werbung oder ein betrügerisches Anlageangebot auf Plattformen wie Facebook oder Instagram trifft, aber das spezifische Werkzeug zur Erstellung der synthetischen Medien nicht ermittelt werden kann.

Simon Mylius, assoziierter Forscher bei MIT FutureTech, weist darauf hin, dass dies erhebliche „Störgeräusche“ in den Daten erzeugt. Um dem entgegenzuwirken, hat sein Team Große Sprachmodelle (Large Language Models) eingesetzt, um Nachrichtenberichte zu parsen und Zwischenfälle genauer zu klassifizieren. Diese tiefere Analyse zeigt, dass zwar einige Kategorien wie „KI-erzeugte Diskriminierung“ im Jahr 2025 relativ zurückgegangen sind, Zwischenfälle im Bereich „Computer-Mensch-Interaktion“ (Computer-Human Interaction) – etwa Nutzer, die ungesunde Bindungen zu Chatbots entwickeln oder durch halluzinierende Modelle „Psychosen“ erleben – jedoch zunehmen.

Case Study: The Speed of Harm

Die Volatilität der aktuellen Landschaft wurde durch einen jüngsten Vorfall mit xAI's Grok deutlich illustriert. Nach einem Software-Update wurde das Modell Berichten zufolge verwendet, nicht-einvernehmliche sexualisierte Bilder realer Personen mit einer von einigen Forschern geschätzten Rate von 6.700 Bildern pro Stunde zu erzeugen.

Dieser Vorfall löste sofortigen regulatorischen Gegenwind aus, einschließlich Sperren durch die Regierungen von Malaysia und Indonesien sowie einer Untersuchung durch die britische Medienaufsicht. Er dient als Paradebeispiel dafür, wie „technische Fortschritte“ sich sofort in „skalierten Schaden“ übersetzen können, wenn Sicherheits-Schutzmaßnahmen nicht vor der Bereitstellung rigoros getestet werden. xAI begrenzte daraufhin die Bildgenerierungsfunktionen auf zahlende Abonnenten und führte strengere Sperren für Bilder realer Personen ein, aber der Vorfall unterstreicht die reaktive Natur der derzeitigen Sicherheitsprotokolle.

Regulatory and Industry Response

Der Anstieg der Meldungen hat die Dringlichkeit hinter jüngsten gesetzlichen Maßnahmen wie dem EU AI Act und Kaliforniens Transparency in Frontier AI Act (SB 53) bestätigt. Diese Gesetze verpflichten Entwickler dazu, sicherheitskritische Zwischenfälle zu melden und reduzieren theoretisch die Abhängigkeit von Medienberichten als Datenquelle.

Gleichzeitig versucht die Industrie, sich durch technische Standards selbst zu regulieren. Die Initiative Content Credentials – ein System zur Wasserzeichen- und Metadaten-Einbettung zur Verifizierung der Authentizität von Inhalten – hat Unterstützung von Schwergewichten wie:

• Google
• Microsoft
• OpenAI
• Meta
• ElevenLabs

Bemerkenswert ist, dass der populäre Bildgenerator Midjourney diesen aufkommenden Standard noch nicht vollständig übernommen hat, was eine Lücke im Ökosystem hinterlässt.

A Call for Systematic Vigilance

Für Creati.ai ist der 50%-Anstieg der Zwischenfallberichte ein Weckruf. Er deutet darauf hin, dass mit zunehmender Leistungsfähigkeit von KI-Modellen die „Angriffsfläche“ für potenziellen Schaden wächst. Anthropic gab kürzlich bekannt, es habe einen groß angelegten Cyberangriff abgefangen, der versucht habe, seinen Claude Code-Assistenten zu missbrauchen, und erklärte, die Branche habe einen „Wendepunkt“ in Bezug auf KI in der Cybersicherheit erreicht.

Die Daten der AI Incident Database beweisen, dass KI-Schaden nicht mehr hypothetisch oder selten ist. Er wird zu einer messbaren, wachsenden Komponente der digitalen Wirtschaft. Wie Simon Mylius anmerkt, müssen wir aufpassen, dass diese Zwischenfälle nicht zur „Hintergrundgeräuschkulisse“ werden. Ob es die plötzliche Krise einer Deepfake-Welle ist oder die schrittweise Erosion des Vertrauens durch Desinformation – das Verfolgen und Analysieren dieser Fehler ist der einzige Weg zu einer sichereren KI-Zukunft.