AI News

司法體系受攻擊:518 起由 AI 捏造證據的案件迫使監管機構採取行動

人工智慧(artificial intelligence)融入法律實務已於 2026 年 1 月 26 日達到關鍵轉捩點。最初作為提升效率的工具,如今已演變成系統性風險,全美法庭文件中已有驚人的 518 起已記錄案件 涉及 AI 幻覺(hallucinations)。隨著州議會爭相制定「護欄」,法律界面臨一場由新興技術現象所引發的信譽危機:AI 所產生資料的循環來源問題。

幻覺疫情的規模

根據 Stateline 的一份新報告,受 AI 生成錯誤影響的法律案件數量暴增。早在數年前的 Mata v. Avianca 爭議事件中,當一名律師無意引用 ChatGPT 生成的不存在案例時,法律界就已開始對此類危險有所警覺,但此後情況已大幅擴大。

僅在 2026 年的第一個月,法庭書記與法官就標記出數百份動議,這些動議包含捏造的判例、幻覺出的法條與僅存在於 大型語言模型(large language models) (LLMs) 神經網路中的程序先例。這些錯誤從小型的引證失誤到用以支持重大刑事辯護的完全虛構司法意見不等。

問題核心在於生成式AI(Generative AI)的預測性質。當被指派尋找法律先例時,這些模型經常優先考量語言出現的機率,而非事實的準確性。在一個以精確為要的對抗性法律系統中,這些「幻覺」正在堵塞法庭案件程序,並迫使法官浪費寶貴時間去核實基本事實。

「Grokipedia」回饋循環

近期錯誤激增的一大推手已被發現在全球最熱門 LLM 的訓練資料中。技術分析顯示,像 OpenAI 的 GPT-5.2 等模型已開始從由 xAI 建立的 AI 生成百科全書 Grokipedia 擷取資訊。

資料科學家將此現象描述為 模型崩潰(Model Collapse)。當 AI 系統在訓練或檢索時使用其他 AI 系統所生成的資料,就會發生這種遞迴的錯誤循環。由於 Grokipedia 是由演算法生成而非人類編輯,它包含固有的偏誤與幻覺。當建立於 GPT-5.2 的法律檢索工具從 Grokipedia 檢索資料時,它會把 AI 所生成的文字當作主要來源。

已識別的主要技術失誤:

  • 循環報導: AI 模型將其他 AI 模型引用為權威來源。
  • 引證捏造: 生成看起來真實卻為虛假的超連結與案號。
  • 驗證漏洞: 自動化法律起草軟體缺乏「人類在迴路中」的驗證機制。

結果就是一口被「毒化的井」,針對冷僻法律查詢會回傳自信滿滿但事實上空泛無據的答案,導致律師無意間誤導法庭。

州議會實施護欄

為回應司法信任的侵蝕,州政府正迅速推動嚴格的法規。National Center for State Courts 的一位代表表示:「我們不能允許自動化的效率拆解法律的完整性。」

多個州已提出或通過緊急立法,旨在遏止 AI 在法庭中的誤用。這些「護欄」聚焦於問責、透明與強制的人類監督。

各州對於法庭中 AI 的監管回應(2026)

State Requirement Penalty for Non-Compliance
California 所有呈件須強制揭露 AI 使用情況 制裁並可能被撤銷律師執業資格
Texas 由主辦律師簽署的人類核查證明(CHV) 動議自動駁回
New York 禁止用於引證的「黑盒」AI 工具 每次違規最高罰款 $10,000
Florida 所有研究輸出須加註 AI 水印 轉介州律師公會進行倫理審查

這些措施代表從「倫理指導」轉向「硬法」,把驗證的責任徹底放回人類律師的肩上。

自動化的人類代價

整頓行動已造成職業上的傷亡。三個州的紀律委員會已對提交充滿 AI 生成錯誤之書狀的律師暫停執照。在麻薩諸塞州的一起高關注案件中,一名辯護律師因其 AI 協助的動議引用了一項不存在的關於搜查與扣押的最高法院裁決而受到制裁。

法律倫理專家主張,問題不在於技術本身,而在於對技術的過度依賴。法律倫理學者 Elena Ross 指出:「這個工具被當作神諭而非起草助理來對待。當律師簽署一份文件時,他們是在為其真實性背書。AI 無法為任何事物背書。」

未來展望:軍備競賽

隨著法庭升級自身技術以偵測 AI 撰寫內容,AI 生成器與 AI 偵測器之間出現一場技術軍備競賽。然而,專家警告偵測軟體容易出現誤判,可能誤懲誠實的律師。

法律科技(Legal Technology)領域的共識是,解方在於嚴格綁定於經驗證的法律資料庫的「RAG(Retrieval-Augmented Generation)」系統,以防止模型在真實判例的封閉宇宙之外產生幻覺。在此類系統成為標準之前,法律專業仍處於一個搖搖欲墜的轉型期,必須在生成式AI 的承諾與捏造現實的危險之間取得平衡。

目前,司法系的訊息很清楚:信任,但要驗證——否則就要承擔後果。

精選