공권력이 위협받는 사법 시스템: AI가 조작한 증거 518건이 규제 조치를 촉발

인공지능（artificial intelligence）이 법률 실무에 통합된 것은 2026년 1월 26일을 기점으로 중대한 전환점을 맞이했다. 효율성을 위한 도구로 시작했던 것이 체계적 책임 부담으로 변모했으며, 미국 전역의 법원 제출문서에서 확인된 AI 환각（hallucinations）이 무려 518건의 문서화된 사례에 달한다. 주 의회들이 "가드레일"을 급히 제정하려 애쓰는 가운데, 법조계는 새로운 기술적 현상—AI가 생성한 데이터를 순환적으로 출처로 삼는 문제—로 인해 신뢰성 위기를 맞고 있다.

환각 오류 전염병의 규모

Stateline의 새 보고서에 따르면, AI가 생성한 허위 정보로 얼룩진 법적 사건 수가 급증했다. 법조계는 몇 년 전 ChatGPT가 생성한 실재하지 않는 판례를 변호사가 무심코 인용하면서 세간의 이목을 끌었던 Mata v. Avianca 사건 당시 처음 이 위험을 경고받았지만, 이후 그 범위는 크게 확대되었다.

2026년 첫 달에만도, 법원 사무관들과 판사들이 허구의 판결문, AI가 환각한 법령, 그리고 신경망인 대형 언어 모델（large language models） (LLMs) 내부에만 존재하는 절차상 선례를 포함한 수백 건의 신청서를 지적했다. 이러한 오류는 사소한 인용 실수에서부터 고위험 형사 변론을 뒷받침하는 완전한 발명의 판결문에 이르기까지 다양하다.

문제의 핵심은 생성형 AI（generative AI）의 예측적 성격에 있다. 판례를 찾도록 과제가 주어지면, 이들 모델은 사실의 정확성보다 언어적 확률을 우선시하는 경향이 있다. 정밀성이 최우선인 대립 법체계에서는 이러한 "환각"이 법원 사건을 막히게 하고 판사들로 하여금 기본 사실을 확인하는 데 귀중한 시간을 낭비하게 만든다.

"Grokipedia" 피드백 루프

최근 오류 급증의 주요 촉매는 세계에서 가장 인기 있는 LLM들의 학습 데이터에서 발견되었다. 기술 분석은 OpenAI의 GPT-5.2와 같은 모델들이 xAI가 생성한 백과사전인 Grokipedia에서 정보를 가져오기 시작했다는 사실을 드러냈다.

데이터 과학자들이 **모델 붕괴（Model Collapse）**라고 설명하는 이 현상은 AI 시스템이 다른 AI 시스템이 생성한 데이터로 학습하거나 데이터를 조회할 때 발생해, 잘못된 정보의 재귀적 루프를 만든다. Grokipedia는 인간 편집자가 아닌 알고리즘에 의해 생성되었기 때문에 고유한 편향과 환각을 포함하고 있다. GPT-5.2 기반의 법률 조사 도구가 Grokipedia에서 데이터를 조회할 경우, 그 AI 생성 텍스트를 1차 출처로 취급한다.

주요 기술적 실패 사례 식별:

• 순환 보고: AI 모델들이 다른 AI 모델을 권위 있는 출처로 인용함.
• 인용 위조: 현실감 있는 모양새의 가짜 하이퍼링크와 사건 번호 생성.
• 검증 공백: 자동화된 법률 문서 작성 소프트웨어에 인간 개입 프로토콜이 부족함.

그 결과, 드문 법률 질의에도 자신감 넘치지만 사실상 무가치한 답변을 반환하는 '오염된 우물' 같은 정보 공급원이 생겨, 변호사들이 법원을 무심코 오도하게 되었다.

주 의회들의 가드레일 도입

사법 신뢰의 침식에 대응하여 주 정부들은 신속히 엄격한 규제를 시행하고 있다. "우리는 자동화의 효율성이 법의 무결성을 해체하도록 허용할 수 없다"고 National Center for State Courts의 한 대변인이 말했다.

여러 주에서 법정 내 AI 오용을 억제하기 위한 긴급 입법을 도입하거나 통과시켰다. 이러한 "가드레일"은 책임성, 투명성, 그리고 필수적인 인간 감독에 초점을 맞춘다.

법원 내 AI에 대한 주별 규제 대응 (2026)

이들 조치는 "윤리적 지침"에서 "강제법"으로의 전환을 의미하며, 검증의 부담을 온전히 인간 변호사에게 지운다.

자동화의 인간적 비용

단속으로 이미 전문적 희생자가 발생했다. 세 주의 징계위원회는 AI가 생성한 오류로 가득한 브리프를 제출한 변호사들의 면허를 정지했다. 매사추세츠의 한 유명 사건에서는 AI 보조 신청서가 실재하지 않는 미국 대법원 판결을 인용한 후 한 형사 변호사가 제재를 받았다.

법률 윤리 전문가는 문제의 본질이 기술 자체가 아니라 기술에 대한 과도한 의존이라고 주장한다. "도구가 작성 보조가 아니라 신탁(oracle)처럼 취급되고 있다"고 법윤리학자 Elena Ross가 지적한다. "변호사가 문서에 서명할 때 그 진실성을 보증하는 것이다. AI는 어떤 것도 보증할 수 없다."

향후 전망: 군비 경쟁

법원이 AI 작성 콘텐츠를 탐지하기 위해 자체 기술을 업그레이드함에 따라, AI 생성기와 AI 탐지기 사이의 기술적 군비 경쟁이 발생하고 있다. 그러나 전문가들은 탐지 소프트웨어가 오탐에 취약해 정직한 변호사에게 불이익을 줄 수 있다고 경고한다.

법률 기술（Legal Technology） 리더들 사이의 합의는 해결책이 검증된 법률 데이터베이스로 엄격히 제한된 "RAG" (Retrieval-Augmented Generation) 시스템에 있다는 것이다. 이러한 시스템이 표준이 될 때까지, 법조계는 실재 판례의 폐쇄된 우주를 벗어나 환각을 일으키지 않도록 약속된 전환 기간에 있다. 당분간 사법부의 메시지는 분명하다: 신뢰하되 검증하라—그렇지 않으면 대가를 치르게 될 것이다.

For now, the message from the judiciary is clear: Trust, but verify—or face the consequences.