AI News

AI 的沉默危機:為何 85% 的機器學習(Machine Learning,ML)專案無法進入生產環境

人工智慧(Artificial Intelligence,AI)的承諾吸引了全球董事會的注意,推動了數十億的投資與戰略轉向。儘管有關生成式AI(Generative AI)突破與自動化未來的頭條新聞,但在這些表象之下,存在一個嚴峻的現實:絕大多數的機器學習(ML)專案未能帶來具體的商業價值。

近期的產業分析揭示了一個令人清醒的統計數字:歷史上,機器學習專案的失敗率高達 85%。即便在當前較為成熟的環境中,2023 年的一項調查顯示,只有 32% 的從業人員表示他們的模型成功進入生產階段。這種潛力與執行之間的落差,不僅僅是技術層面的難題;它是根植於組織如何構想、構建與部署 AI 解決方案的系統性問題。

在 Creati.ai,我們分析了業界資深人士的最新見解,以解析驅動此失敗率的五大關鍵陷阱。理解這些障礙是將實驗性程式碼轉化為生產級價值的第一步。

陷阱 1:選錯問題的陷阱

最根本的錯誤發生在還沒有寫出任何程式碼之前:優化了錯誤的目標。在急於採用 AI 的過程中,組織常常把技術可行性或「話題性」放在商業必要性之上。調查顯示,只有 29% 的從業人員覺得專案目標在一開始就定義得很清楚,而且有超過四分之一的人表示,清晰的目標很少被建立。

成功的機器學習實施需要三個因素的精確對齊:可取性(利害關係人的需求拉動)、獲利性(商業影響能夠證明成本合理)、以及技術可行性。

以金融科技為例,當多個業務線競爭 AI 資源時,專案經常因為以流行語(buzzwords)為賣點而失敗,而非以具體成果為主張。相對地,成功案例——例如用於個人銀行的預測模型——具有共同特徵:直接相關的收益來源,且能與現有系統整合,機器學習元件只需替換掉效率較低的既有做法。

重點結論: 如果商業目標需要在後期大幅轉向,機器學習管線(資料工程、目標函數等)的剛性會使得調整代價高昂。團隊必須在一開始就問幾個艱難的問題:這個問題是否真的需要機器學習?預期的利潤是否能證明基礎設施的成本?

陷阱 2:資料品質——隱形的冰山

「輸入垃圾,輸出垃圾」不是沒有道理。資料問題仍然是導致專案失敗的最大技術原因。雖然組織常有標準的資料清理與特徵工程流程,但這些表層的作法常常忽略更深層的結構性缺陷。

對同行評審的機器學習論文的回顧發現,資料洩漏(training data inadvertently contains information from the target variable)已經影響了數十項研究的結果。在企業情境中,這會呈現為在測試中表現出色但在真實世界中災難性失敗的模型。

除了洩漏之外,標註的挑戰常被低估。團隊可能假設原始資料已足夠,事後才發現投資高品質的「黃金集」(golden sets)用於評估是不可妥協的。資料孤島(data silos)進一步加劇了問題,導致團隊因無法取得另一部門資料庫中隱藏的關鍵特徵,而得出「無解」的結論。

資料準備的現實:

  • 洩漏(Leakage): 需要嚴格分離訓練與測試環境。
  • 孤島(Silos): 由於資料存取分散,團隊常忽略具有預測力的特徵。
  • 標註(Labeling): 如果對真實標準無共識,模型訓練就是徒勞的。

陷阱 3:模型與產品之間的鴻溝

可運作的原型與生產就緒的產品之間存在巨大的差距。Google 對機器學習系統的知名評估指出,實際的 ML 程式碼通常只是架構中最小的一部分。周邊的基礎設施——提供服務的系統、監控、資源管理——才是工程工作量的主要部分。

以檢索增強生成(Retrieval-Augmented Generation,RAG)為當代範例。使用大型語言模型(LLM)API 與向量資料庫去構建展示系統相對簡單。然而,要把它變成面向客戶的支援代理,則需要複雜的工程工作:降低延遲、隱私保護措施、妄想(hallucination)防護與可解釋性功能。

這個「模型到產品」的落差,就是 MLOps 關鍵所在。把模型視為最終交付物而非更大軟體生態系統中的一個元件的團隊,往往會陷入困境。成功需要跨功能的協作,在處理模型精準度的同時,也要解決工程上的限制。

陷阱 4:離線與線上之間的不協調

也許最令人沮喪的失敗模式是:模型在離線驗證完美無缺,但部署後卻降低了使用者體驗。這種不協調發生的原因在於,離線指標(如準確率或精確率)很少能與商業指標(如留存或收益)一比一對應。

一個經典案例涉及用於解決新使用者「冷啟動」問題的照片推薦系統。離線測試中,模型基於視覺內容成功識別出高品質照片。然而當系統上線後,使用者的會話時長反而下降。系統在技術上是準確的,但在功能上造成干擾——使用者因推薦的同質性而感到無聊,儘管這些照片在「品質」上被評為高。

解決方法: 不要在真空中過度優化。目標應該是盡快到達 A/B 測試(A/B testing)階段。真實世界的反饋是唯一重要的驗證方式。

陷阱 5:非技術性的阻礙

令人驚訝的是,最難克服的障礙往往並非技術面。缺乏利害關係人的支持與不充分的規劃,常常位居部署障礙榜首。沒有 AI 背景的決策者可能低估了機器學習專案固有的不確定性。與傳統軟體不同,傳統軟體的輸入與輸出是確定的,而機器學習則具有機率性。

當利害關係人期待立即的完美,或不理解模型需要學習與迭代時,資金被切斷,專案被放棄。教育是 AI 從業人員的一項核心責任。利害關係人必須了解風險、健全資料管線的必要性,以及並非每一次實驗都會有回報的現實。

為了緩解這個問題,成功的組織常常將其投資組合分開:一個孵化器用於高風險、可能改變遊戲規則的押注;另一個則為規模化已證明、低風險的解決方案提供精簡的生產線。

成功的策略框架

為了避開這些陷阱,組織必須採取有紀律的 AI 實施(AI implementation)方法。下表概述了從常見失敗模式到最佳實踐的轉變。

Failure Mode Root Cause Strategic Correction
Ambiguous Objectives Lack of clear business value definition Verify the "Sweet Spot": Desirable, Profitable, Feasible.
Data Myopia Standard cleaning without deep exploration Treat data as a product; invest heavily in labeling and leakage detection.
Prototype Trap Ignoring production infrastructure needs Build end-to-end pipelines early; focus on MLOps integration.
Metric Mismatch Optimizing offline accuracy over business KPIs Deploy early for A/B testing; monitor business impact, not just model score.
Stakeholder Misalignment Unrealistic expectations of certainty Educate on ML probability; manage a balanced portfolio of risk.

結論

機器學習專案高失敗率並非對這項技術的指控,而是反映了其實施過程的複雜性。成功很少取決於發現一種新穎的架構;更關鍵的是嚴謹的問題選擇、紀律化的資料工程,以及彌合資料科學家與商業利害關係人之間的文化鴻溝。

對於希望在 AI 時代領先的組織而言,前進的道路需要超越話題性。這要求務實地接受不確定性、承諾採用 MLOps 的最佳實踐,並持續專注於用正確的資料解決正確的問題。唯有如此,才能扭轉 85% 的失敗率,將潛力轉化為生產力。

精選