AI News

具代理能力的 AI(Agentic AI)大衝刺:部署速度已超越安全規範

企業環境正處於劇烈變動的邊緣,從被動的生成式AI(Generative AI)工具轉向能執行複雜工作流程的自治「具代理能力的 AI(Agentic AI)」。然而,Deloitte 的一份新報告敲響了嚴重警鐘:雖然採用速度以驚人的速度加快,對這些自治系統的治理所需的安全框架卻危險地落後。

根據 Deloitte 的調查,只有 21% 的組織 目前對 AI 代理(AI agents) 設有嚴格的治理或監督機制。這一統計與預測的採用率形成鮮明對比,預計 AI 代理的使用率將在短短兩年內從 23% 增至 74%。當企業急於利用自治代理帶來的生產力提升時,這個「治理缺口」會產生與資料隱私、安全以及責任相關的重大風險。

具代理能力企業的崛起

傳統的生成式AI(Generative AI)與 具代理能力的 AI 之間的差異至關重要。標準的大型語言模型(Large Language Models,LLMs)會根據提示生成文字或程式碼,然而 AI 代理則被設計來感知、推理並 執行。它們可以自主導航軟體、執行交易,並作出決策以達成廣泛目標。

這種能力推動了非採用者比例的預測下降——未來幾年將從 25% 減少到僅 5%。組織並非僅在嘗試階段;它們正朝向能在生產環境中部署、讓代理擔任數位工作者的方向前進。然而,Deloitte 警告指出,若在沒有「資安 AI 藍圖(Cyber AI Blueprints)」的情況下由試點轉向生產,將招致系統性風險。

治理真空:沒有制動的創新

Deloitte 的核心警告並非指 AI 代理本質上具有惡意,而是指出它們在「缺乏情境與薄弱治理」的情況下被部署。在傳統軟體環境中,行為是硬編碼且可預測的;在具代理能力的環境中,AI 決定「如何做」,而這往往使決策過程變得不透明。

若沒有強而有力的防護措施,代理可能發生幻覺、無限循環,或執行越過合規界限的動作。報告強調,不透明的系統「幾乎無法被保險」,因為保險公司無法準確評估這種『黑盒』決策者的風險。

報告中識別的主要風險:

  • 情境過載: 給予代理過多存取權會導致不可預測的行為。
  • 可觀察性不足: 無法追溯代理為何採取特定行動。
  • 系統斷裂: 真實世界資料不一致性會導致代理在實務中失敗,而在示範中卻成功。

Deloitte 的框架:分層自治(Tiered Autonomy)與資安 AI 藍圖(Cyber AI Blueprints)

為了彌合創新與安全之間的差距,Deloitte 提出「分層自治(Tiered Autonomy)」策略。此方法建議組織不應立即授予代理完全控制權,而應實施一套與代理已證明的可靠性及任務風險等級相對應的漸進式權限系統。

下表說明了該治理模型建議的運作層級:

Table: Tiered Autonomy Levels for AI Agents

自主層級 操作範圍 人類監督需求
第 1 級:唯讀 代理可檢視資料並回答查詢,但不能修改系統。 低: 事後稽核以確認正確性。
第 2 級:諮詢 代理分析資料並提出建議或計畫。 中: 人員必須審查並決定是否採取行動。
第 3 級:協同駕駛 代理在嚴格護欄內執行有限的操作。 高: 執行前需有人類明確核准。
第 4 級:自主 代理在低風險、重複性任務上獨立行動。 策略性: 監控日誌;僅在警報時介入。

此結構反映了「資安 AI 藍圖(Cyber AI Blueprints)」的概念,將治理層嵌入組織控制中,確保合規不是事後考量,而是部署的先決條件。

專家觀點:『受治理的自治(Governed Autonomy)』

產業共識與 Deloitte 對結構化治理的呼籲一致。Kovant 執行長 Ali Sarrafi 強調需要「受治理的自治(Governed Autonomy)」。他主張應以與管理人類員工相同的嚴謹方式來對待代理——明確邊界、清晰政策以及具體角色。

「設計良好且邊界清晰的代理……能在明確的護欄內快速處理低風險工作,但當行為跨越定義的風險閾值時會升級給人類介入,」Sarrafi 指出。

針對高影響決策採取人為介入(human-in-the-loop)的方法,能將代理從神祕的機器人轉變為可稽核的系統。藉由記錄詳細的行動日誌並將複雜操作拆解為較小的任務,企業能確保失敗能夠早期被偵測,而非擴大成關鍵錯誤。

保險與問責面向

Deloitte 報告中一個令人關注的面向,是 AI 治理(AI governance) 與保險之間的關係。隨著代理開始採取真實世界行動——發送電子郵件、轉帳或管理敏感資料——責任範圍也發生改變。

保險業愈來愈不願承保不透明的 AI 部署。為了取得保險覆蓋,組織必須證明其代理在嚴格的權限「框」內運作,且每項行動都有被記錄並可重放。透明性不再只是道德偏好;對於風險轉移而言,它已成為財務上的必要條件。

為勞動力的未來做準備

技術只是方程式的一半。Deloitte 強調,安全採用還需要一支具備「AI 素養(AI Literacy)」的勞動力。員工必須了解:

  1. 資料衛生: 哪些資訊絕不應與代理分享。
  2. 介入: 如何覆寫或中止偏離軌道的代理。
  3. 懷疑態度: 如何發現自治系統中的不尋常行為。

隨著採用率攀升至那個 74% 的門檻,真正的競爭優勢將屬於那些不是最快部署代理的人,而是那些能以足夠能見度與控制來維持信任的人。「快速行動並打破事物」的時代已結束;在具代理能力的 AI 時代,新箴言是「在護欄下快速行動」。

精選