캘리포니아 법무장관, 불법 딥페이크(deepfake) '쇄도' 이후 xAI에 엄격한 중지 명령 발령

캘리포니아 주 법무장관 로브 본타(Rob Bonta)는 Elon Musk가 설립한 인공지능 회사 xAI에 대해 공식적인 중지 명령을 발령하고, 비동의 성적 노골적 딥페이크 및 아동 성학대 자료(CSAM)의 즉각적인 생성을 중단할 것을 요구했습니다. 금요일에 전달된 이 지시는 캘리포니아 주와 이 기술 거물의 최신 벤처 간 규제 대치가 크게 격화되었음을 의미하며, 회사의 Grok 챗봇이 여성과 미성년자에 대한 대규모 학대를 조장하고 있다는 '충격적인' 증거를 인용했습니다.

법무장관실은 xAI에 대해 업로드된 사진 속 인물의 '옷을 벗기는' 행위를 방지하기 위해 취하고 있는 구체적인 조치를 증명하라는 엄격한 5일 기한을 부여했습니다. 이번 법적 조치는 여러 나라에서 해당 챗봇이 금지되고 Musk의 내부 인사가 제기한 고소에 직면하는 등 소란스러운 한 주를 보낸 xAI를 대상으로 합니다.

최후통첩: 디지털 학대에 대한 "무관용"

명령서에 첨부된 강경한 성명에서 본타 법무장관은 Grok의 오용에 관한 보고량을 '산사태(avalanche)'라고 표현했습니다. 캘리포니아 법무부가 시작한 조사에 따르면 플랫폼의 이미지 생성 도구가 소셜 미디어에서 가져온 사진의 일반인—심지어 아동까지—의 옷을 체계적으로 벗기는 무기로 악용되고 있었습니다.

"우리는 비동의 친밀 이미지나 아동 성학대 자료의 AI 기반 생성 및 유포에 대해 무관용 원칙을 적용합니다,"라고 본타는 말했습니다. "최근 몇 주 동안 xAI가 생성하고 온라인에 게시한 비동의적이고 성적으로 노골적인 자료에 대한 보고의 쇄도는 충격적이며, 우리 사무실의 판단으로는 잠재적으로 불법적입니다."

중지 명령서는 특히 xAI가 공중도덕과 '딥페이크' 포르노를 겨냥한 최근 제정 법률을 위반했다고 주장합니다. 이 새로운 법규는 이번 달 초 발효되었으며, 이전에는 합성 비동의 이미지 생성이 처벌을 면하게 했던 허점을 막기 위해 설계되었습니다.

법무부의 요구는 명확합니다: xAI는 이러한 생성 기능을 즉시 비활성화해야 합니다. 따르지 않을 경우 심각한 민사 벌금과 추가 금지명령 등 주 내에서 플랫폼의 운영을 마비시킬 수 있는 조치가 뒤따를 수 있습니다.

"스파이시 모드"와 가드레일의 실패

논란의 핵심은 Grok의 이미지 생성 능력으로, 종종 OpenAI의 DALL-E나 Midjourney 같은 경쟁사보다 제약이 적다고 사용자들에게 홍보되었습니다. 이러한 '필터 없는' 접근법은 일부 사용자층에서 인기가 있었지만 불법 콘텐츠 생성 방지에는 완전히 실패한 것으로 보입니다.

비영리 단체 AI Forensics의 분석에 따르면 문제의 규모는 거대합니다. Grok이 생성한 20,000장 이상의 이미지를 검토한 결과 절반 이상이 최소한의 복장을 한 인물을 묘사했고, 그중 상당 비율은 명백한 미성년자를 포함했습니다. 플랫폼의 이른바 "스파이시 모드"는 사용자가 동료, 급우 또는 공인의 무해한 사진을 업로드하고 AI에게 노골적인 상황으로 재생성하도록 지시할 수 있게 사실상 허용했습니다.

xAI는 '가드레일'을 마련했다고 주장해왔지만, 법무장관의 조사 결과 이러한 조치는 쉽게 우회되는 것으로 보입니다. 사용자들은 간단한 프롬프트만으로도 인물의 옷을 벗길 수 있었고, 많은 경우 AI는 아동을 성적으로 묘사하는 이미지를 생성해 달라는 요청에도 응답했습니다.

Elon Musk는 자신의 플랫폼 X(구 Twitter)에서 주초에 이 문제를 알지 못한다고 부인하며 "Grok이 생성한 누드 미성년자 이미지는 전혀 알지 못한다. 문자 그대로 제로(zero)"라고 게시했습니다. 그러나 이 주장은 주 조사관들과 독립 연구자들이 수천 건의 그러한 사례를 문서화한 사실과는 극명하게 대비됩니다.

개인적 파장: 내부로부터의 소송

규제 압박은 Musk에게 매우 개인적인 법적 도전과 동시에 찾아왔습니다. 정치 전략가이자 Musk의 자녀 중 한 명의 어머니인 Ashley St.