AI駆動の被害報告が50％急増、ディープフェイク（deepfake）事件が従来の故障を上回る

人工知能の安全性をめぐる状況は劇的に変化しています。AI Incident Database (AIID) のデータに基づく新しい分析によると、AI関連の被害報告は2022年から2024年にかけて前年比50％増となりました。さらに懸念されるのは、2025年の最初の10か月のデータが既に2024年の総数を上回っており、一時的な急増ではなく加速する傾向を示している点です。

業界の観察者やステークホルダーである Creati.ai にとって、このデータは技術リスクの性質が転換点を迎えたことを裏付けています。かつては自動運転車のエラーや静的システムにおけるアルゴリズムのバイアスがAIインシデントを支配していましたが、生成型AI（Generative AI）の普及により、ディープフェイク（deepfake）、悪意のある利用、合成メディア詐欺に特徴づけられる新しい時代が到来しました。

事故から悪意ある利用への変化

最近のデータで最も顕著な発見は、AIが害をもたらす「方法」が根本的に変化したことです。2018年から2022年の間、報告されたインシデントの主な要因はしばしばシステムの制約であり—自動運転車が自転車を検知できない、顔認識システムが人種バイアスを示す、など—ました。しかし、強力な生成モデルの登場によりこのダイナミクスは逆転しました。

2023年以降、特にディープフェイク動画に関連するインシデントが、自動車、顔認識、コンテンツモデレーション（content moderation）に関する報告を合算した数を上回っています。これは「AI事故（AI accidents）」（システムが意図した通りに動作しない場合）から「悪意のある利用（malicious use）」（システムが意図通りに動作するが、有害な目的で使われる場合）への移行を示しています。

分析で特定された主なトレンドは次の通りです：

• 悪意ある行為者： AIを使って被害者を詐欺にかけたり、偽情報を拡散したりする個人の報告が2022年以降で8倍に増加しています。
• 生成型の優位性： ディープフェイク動画や画像生成に関する問題がインシデントログを支配しており、Midjourney、OpenAIのSora、xAIのGrokのようなツールの利用しやすさがこれを後押ししています。
• サイバーセキュリティリスク： コーディング支援ツールを介したサイバー攻撃の横行など、機微な領域で新たな脅威が出現しています。

インシデントデータの分析

この問題の規模を理解するには、AI Incident DatabaseやMIT FutureTechの研究者らが提供する生データを見ることが不可欠です。主な流れは、大規模言語モデル（Large Language Models、LLMs）の一般公開と並行して報告される被害が指数関数的に増加していることを示しています。

年間報告AIインシデント（2020–2024年）

データ出典：AI Incident Database / MIT AI Incident Tracker

AI Incident Databaseの編集者である Daniel Atherton は、これらの数字がおそらく氷山の一角にすぎないと強調します。Athertonは「AIはすでに現実世界で被害を引き起こしている。失敗を追跡しなければ、それを修正することはできない」と述べています。彼はクラウドソースのデータに限界があることを警告しつつも、企業の報告が断片的である現状では、問題の規模を窺う数少ない有効な窓口の一つであると指摘します。

「不明な開発者（Unknown Developer）」問題

規制当局や安全研究者にとって最も複雑な課題の一つは帰属です。大手テック企業はその視認性の高さから報告で頻繁に引用されますが、AI被害のかなりの部分は基礎となる開発者が特定されないツールによって生み出されています。

2023年以降、報告された全インシデントのうち3分の1以上が「Unknown（不明）」なAI開発者に関与していました。これは、FacebookやInstagramのようなプラットフォーム上でユーザーがディープフェイク広告や詐欺的な投資スキームに遭遇した場合に、合成メディアを生成した具体的なツールが特定できない状況でよく発生します。

MIT FutureTechのアフィリエイト研究者である Simon Mylius は、これがデータにかなりの「ノイズ」を生んでいると指摘します。この問題に対処するため、彼のチームはニュース報道を解析してインシデントをより正確に分類するためにLLMを導入しました。このより深い分析により、「AI生成による差別（AI-generated discrimination）」のようなカテゴリーは2025年に相対的に減少を示した一方で、チャットボットに対する不健全な愛着の形成や、幻覚を生むモデルに起因する「精神病（psychosis）」のような**「コンピュータ−人間の相互作用（Computer-Human Interaction）」**に関するインシデントは増加していることが明らかになりました。

ケーススタディ：被害の速度

現在の状況の変動性は、xAI の Grok に関する最近のインシデントによって鮮明に示されました。ソフトウェアアップデートの直後、このモデルが実在の人物の同意なしに性的化された画像を生成するために使用され、研究者の一部はその生成速度を1時間あたり6,700枚と推定しました。

このインシデントは即座に規制上の反発を招き、マレーシアやインドネシアの政府によるブロックや英国のメディア監視機関による調査が行われました。これは、「技術的進歩」が導入前に安全ガードが厳密に検証されていなければ、瞬時に「大規模な被害」に転じ得る良い例です。xAIはその後、画像生成ツールを有料登録者に限定し、実在人物の画像に対するブロッキングを強化しましたが、この事例は現在の安全プロトコルが事後対応的であることを浮き彫りにしました。

規制と業界の対応

報告の急増は、EU AI Act やカリフォルニア州の Transparency in Frontier AI Act (SB 53) のような最近の立法の緊急性を裏付けています。これらの法律は、開発者に安全上重要なインシデントの報告を義務付け、理論的にはメディア報道への依存を減らすことを目指しています。

しかし業界は技術標準を通じた自己規制も試みています。コンテンツの真正性を検証するために透かし挿入やメタデータ埋め込みを行う仕組みである Content Credentials イニシアチブは、次のような大手企業の支持を得ています：

• Google
• Microsoft
• OpenAI
• Meta
• ElevenLabs

注目すべきは、人気の画像生成ツール Midjourney がこの新興標準をまだ完全には採用しておらず、エコシステムに隙間を残している点です。

組織的な警戒の呼びかけ

Creati.ai にとって、インシデント報告が50％急増したという事実は警鐘です。AIモデルの能力が高まるにつれて、潜在的被害の「攻撃面」が拡大することを示唆しています。Anthropic は最近、同社の Claude Code アシスタントを利用しようとする大規模なサイバー攻撃を阻止したと明らかにし、業界がサイバーセキュリティに関して「分岐点（inflection point）」に到達したと宣言しました。

AI Incident Database のデータは、AIによる被害がもはや仮説や希少事象ではないことを証明しています。これはデジタル経済の中で計測可能かつ増大する要素になりつつあります。Simon Mylius が指摘するように、これらのインシデントを「背景ノイズの一部」にしてしまってはなりません。ディープフェイクの波による突発的な危機であれ、偽情報による信頼の徐々の侵食であれ、これらの失敗を追跡・分析することが、安全なAIの未来へ向かう唯一の道です。