AI News

人工智慧(Artificial Intelligence, AI)的無聲危機:為什麼 85% 的機器學習(Machine Learning, ML)專案從未進入生產環境

人工智慧的承諾吸引了全球董事會的目光,驅動了數十億的投資與策略轉向。然而,在生成式 AI 突破與自動化未來的頭條新聞之下,存在一個嚴峻的現實:絕大多數的機器學習(ML)計畫未能帶來具體的商業價值。

近來的產業分析揭示了一個令人警醒的統計數據:歷史上,ML 專案的失敗率曾高達 85%。即便在如今較為成熟的環境中,2023 年的一項調查也顯示,只有 32% 的從業者回報他們的模型成功進入生產環境。這種潛力與執行之間的落差不僅僅是技術障礙;它是根植於組織如何構思、構建與部署人工智慧解決方案的一個系統性問題。

在 Creati.ai,我們分析了來自行業資深人士的最新見解,以拆解導致這一失敗率的五大關鍵陷阱。理解這些障礙是將實驗性程式碼轉化為生產級價值的第一步。

陷阱一:定錯問題的陷阱

最根本的錯誤發生在還沒寫下一行程式碼之前:優化了錯誤的目標。在搶搭 AI 熱潮的過程中,組織經常把技術可行性或「炒作」放在商業必要性之前。調查顯示,只有 29% 的從業者認為他們的專案目標在一開始就被清楚定義,而超過四分之一的人表示明確目標很少被設立。

成功的 ML 實作需要三個因素的精確對齊:可被需求面接受(desirability,利害關係人的需求)、獲利性(profitability,商業影響足以證明成本)與技術可行性(technical feasibility)。

以金融科技場景為例,當多個業務線競爭 AI 資源時,專案常因以時髦詞彙做宣傳而非具體成果而失敗。相反地,成功案例——例如用於個人銀行的預測模型——具有共同特徵:直接關聯營收,且能整合到現有系統中,ML 元件只是取代了效率較低的既有方案。

關鍵重點:如果商業目標需要後期大幅轉向,ML 管線(如資料工程、目標函數)的剛性會讓調整變得昂貴。團隊必須在一開始就問辛辣的問題:這個問題真的需要 ML 嗎?預期的利潤是否能證明基礎設施成本?

陷阱二:資料品質──隱藏的冰山

「Garbage in, garbage out(輸入垃圾,輸出垃圾)」之所以成為老生常談,是有理由的。資料問題仍然是專案失敗的最大技術原因。雖然組織通常有標準的資料清理與特徵工程流程,但這些表層程序常常無法發現更深層的結構性缺陷。

對同行評審的 ML 論文回顧發現,資料洩漏(data leakage)——訓練資料意外包含來自目標變數的資訊——損害了數十篇研究的結果。在企業環境中,這表現為模型在測試時表現驚人,但在真實世界中卻災難性地失敗。

超越洩漏之外,標註問題往往被低估。團隊可能假設原始資料就足夠,卻在投入高品質「黃金測試集」(golden sets)做評估時發現這是不可妥協的投資。資料孤島進一步加劇問題,導致團隊因無法取得隱藏於其他部門資料庫的關鍵特徵而得出「無解」的結論。

資料準備的現實:

  • 洩漏:需要嚴格分離訓練與測試環境。
  • 孤島:因資料分散,團隊常錯過具預測力的特徵。
  • 標註:若對標準答案無共識,模型訓練毫無意義。

陷阱三:模型與產品之間的深淵

運作中的原型與可上線的產品之間存在深刻差異。Google 對 ML 系統的著名評估指出,實際的 ML 程式碼常常只是整體架構中最小的一部分。周邊的基礎建設——服務系統、監控、資源管理——才構成工程工作的大宗。

以檢索增強式生成(Retrieval-Augmented Generation, RAG)為現代例子。用一個大型語言模型(Large Language Model, LLM)的 API 和向量資料庫構建示範相對簡單。然而,要把它變成面向客戶的客服代理,則需要複雜的工程工作:延遲降低、隱私防護、幻覺防禦與可解釋性功能。

這個「模型到產品」的落差是 機器學習運維(MLOps) 變得關鍵的地方。把模型當成最終交付物而非更大軟體生態系統中的一個元件的團隊,必然會掙扎。成功需要跨職能的協作,在解決工程限制的同時兼顧模型準確度。

陷阱四:離線與線上之間的不協調

或許最令人沮喪的失敗情況是:模型在離線測試上完全驗證,但部署後反而惡化了使用者體驗。這種不協調發生,因為離線指標(如準確率或精確度)很少能與商業指標(如留存或營收)做 1:1 的對應。

一個經典例子是為新用戶解決「冷啟動」問題而設計的照片推薦系統。離線上,模型依視覺內容成功識別出高品質照片。然而部署後,用戶會話時長下降。系統在技術上是準確的,但在功能上卻造成干擾——儘管推薦是「高品質」的,使用者卻因推薦的同質性而感到無聊。

解決之道:不要在真空中過度優化。目標應該是盡快進入 A/B 測試(A/B testing)階段。真實世界的回饋是唯一重要的驗證。

陷阱五:非技術性的阻礙

令人驚訝的是,最強大的障礙往往不是技術性的。缺乏利害關係人的支持與規劃不足常常高居部署阻礙的榜首。沒有 AI 背景的決策者可能低估了機器學習(machine learning)專案固有的不確定性。不同於傳統軟體,其輸入與輸出是決定論的,ML 是機率性的。

當利害關係人期待立即的完美或不理解模型需要學習與迭代時,經費會被削減,專案被放棄。教育是 AI 從業者的一項核心責任。利害關係人必須理解風險、對穩健資料管線(data pipelines)的需求,以及並非每一次實驗都會產生回報的現實。

為了緩解這點,成功的組織通常會將其產品組合分開:一個用於高風險、可能帶來顛覆性改變的孵化器,以及一條用於擴大已驗證、風險較低解決方案的精簡生產線。

成功的策略框架

為了迴避這些陷阱,組織必須採取對人工智慧實施(AI implementation)有紀律的方法。下表概述了從常見失敗模式到最佳實務的轉換。

Failure Mode Root Cause Strategic Correction
Ambiguous Objectives Lack of clear business value definition Verify the "Sweet Spot": Desirable, Profitable, Feasible.
Data Myopia Standard cleaning without deep exploration Treat data as a product; invest heavily in labeling and leakage detection.
Prototype Trap Ignoring production infrastructure needs Build end-to-end pipelines early; focus on MLOps integration.
Metric Mismatch Optimizing offline accuracy over business KPIs Deploy early for A/B testing; monitor business impact, not just model score.
Stakeholder Misalignment Unrealistic expectations of certainty Educate on ML probability; manage a balanced portfolio of risk.
失敗模式 根本原因 策略修正
目標不明 缺乏明確的商業價值定義 驗證「甜 spot」:可被需求面接受、具獲利性、且技術可行。
資料短視 僅做標準清理,缺乏深入探索 將資料視為產品;大量投資於標註與洩漏偵測。
原型陷阱 忽視生產基礎建設需求 從早期開始建構端到端管線;專注於 MLOps 整合。
指標不匹配 在離線準確度上優化而非商業 KPI 盡早部署做 A/B 測試;監控商業影響,而不只是模型分數。
利害關係人錯位 對確定性的非現實期待 教育利害關係人了解 ML 的機率性;管理風險平衡的產品組合。

結論

機器學習專案的高失敗率並非對技術的否定,而是對其實施複雜性的反映。成功很少來自發現新穎的架構;而是來自嚴謹的問題選擇、紀律化的資料工程,與縮短資料科學家與商業利害關係人之間文化落差的努力。

對於希望在 AI 時代領先的組織,前進的道路需要超越炒作。它需要對不確定性的務實接受、對 MLOps 最佳實務的承諾,以及對用正確資料解決正確問題的不懈專注。唯有如此,85% 的失敗率才能被逆轉,將潛力轉化為生產力。

精選