
在一則在矽谷與華盛頓政策圈引起迴響的嚴肅評估中,人工智慧安全公司 Anthropic 的執行長 Dario Amodei 發出了迄今最直接的警告之一,指出快速發展的 AI 系統可能構成存在性風險。以一名在高風險生成式AI(Generative AI)競賽中積極競爭的技術高管罕見的坦率表述,Amodei 警告說,業界正在開發的那些模型——包括他自家公司開發的模型——可能很快就具備使惡意行為者在大規模上開發生物武器的能力。
這項警告發生在 AI 產業的一個關鍵時刻:產業一方面面臨前所未有的商業成長,另一方面亦承受越來越多的安全審視。Amodei 的評論突顯了頂尖研究者間日益增長的不安:AI 能力與人類監督之間的差距正以驚人的速率擴大,這可能導致先進知識的廣泛取得成為對全球安全的威脅。
Amodei 警告的核心在於,大型語言模型(Large Language Models,LLMs)正降低進入門檻,使得創造大規模毀滅性武器的門檻變得更低,特別是在生物領域。歷來,製造生物製劑需要專業知識、難以取得的材料,以及無法輕易從教科書或線上取得的隱性知識。Amodei 主張,進階的 AI 系統正在開始補足這些缺失的部分。
「我們擔心,每個人口袋裡的天才可能會移除專業知識的門檻,」Amodei 表示,並描述了一種情境:AI 系統實際上扮演博士級病毒學家的角色。在這個潛在的未來裡,沒有專業訓練的惡意行為者也可能被「逐步引導完成設計、合成與釋放生物武器的流程」。
這種能力代表了威脅格局的根本轉變。與需要難以取得的裂變材料與龐大基礎設施的核武器不同,生物武器在很大程度上依賴資訊與廣泛可得的實驗室設備。如果 AI 模型能夠彌補知識差距,能夠發動生物攻擊的行為者數量可能會呈指數級增加。
Anthropic 指認的主要風險因素:
| Risk Category | Description | Potential Impact |
|---|---|---|
| Information Access | AI retrieves and synthesizes dispersed concepts on pathogen design. | Lowers the "knowledge barrier" for non-experts. |
| Process Guidance | Step-by-step instructions for synthesizing biological agents. | Enables execution of complex lab procedures. |
| Troubleshooting | AI assists in overcoming technical hurdles during synthesis. | Increases the success rate of malicious experiments. |
| Scale of Harm | Democratized access leads to more potential actors. | Higher probability of a successful large-scale attack. |
Amodei 將他的警告置於他對當前人工智慧狀態的更廣泛哲學觀之中,他稱之為「技術的青春期」。在最近一篇綜合性論文中,他主張人類正進入一個動盪的「成年禮」時期,我們的技術力量正在比我們的智慧或制度成熟度更快地擴張。
他假定,我們當前處於一個過渡時期,在此期間 AI 系統已經強大到足以造成重大傷害,但尚未健全到可以完全對齊或控制的程度。這一時期的特徵是「出現性行為」——隨著模型規模擴大而自發出現的能力,常常連開發者都會感到驚訝。這些未知因素使風險評估特別困難,因為安全研究者實際上是在追逐一個不斷移動的目標。
根據 Amodei 的說法,未來五到十年至關重要。他設想了一個時間線,AI 不僅可能促成生物攻擊,還可能透過監控與宣傳加速威權控制,或透過自動化大範圍白領工作而動搖全球經濟。然而,他強調這些結果並非不可避免,而是取決於今天實驗室、監管機構與更廣泛的國際社會所採取的行動。
Amodei 的嚴峻警告引發了關於 Anthropic 存在的核心悖論的關注。Anthropic 由曾因安全疑慮離開 OpenAI 的前高層創立,將自己定位為 AI 市場上「負責任」的替代方案。其使命是將 AI 發展的軌跡引導向安全方向。然而,為了保持相關性與影響力,Anthropic 必須建造並部署那些它所警告的系統,並且經常為了爭奪市占、人才與計算資源而激烈競爭。
產業觀察者指出,Anthropic 的安全論述與其商業現實之間存在張力。隨著公司擴大其影響力——近期在舊金山簽下大型辦公擴展的租約——並發布越來越強大的 Claude 模型版本,批評者認為該公司無論意圖為何,都陷入了一種「向下競賽」的動態。
Anthropic 面臨的相互矛盾的訴求:
這種二元性導致某些方面的質疑。批評者指出,若沒有可驗證的外部安全指標,「負責任開發」的說法可能淪為「安全戲劇」——一種在繼續推動技術界限的同時安撫公眾的手段。然後,Anthropic 的支持者則認為,確保安全特性能在整個產業被採用的唯一方法,是由一家以安全為核心的實驗室領跑市場,迫使他人跟進。
為了在這些競爭壓力之間架起橋樑,Anthropic 仰賴其 "負責任擴展政策(Responsible Scaling Policy,RSP)"。該架構旨在使安全承諾具體化,確保公司不會訓練或部署超出其可控範圍的模型。
RSP 以模仿生物安全等級(BSL)的系統來分類風險。目前,大多數已部署的模型運作在「ASL-2」(人工智慧安全(AI Safety) 等級 2),這假定模型在標準防護下可以安全發布。然而,Amodei 與其團隊正在為「ASL-3」及更高等級做準備——當模型展示出可能協助製造 CBRN(Chemical、Biological、Radiological、Nuclear)武器的能力時,會觸發這些等級。
根據 RSP,如果模型在訓練期間觸發 ASL-3 門檻(例如,顯示其能顯著協助生物武器製造),公司承諾在採取特定、強化的安全措施之前暫停部署。這些措施可能包括「隔離網路」模型權重(將其離線保存)或對危險查詢實施嚴格且不可繞過的拒絕機制。
Anthropic 的安全等級框架:
| Safety Level | Triggering Capability | Required Safeguards |
|---|---|---|
| ASL-2 | Current generation general capabilities. | Standard red-teaming and reinforcement learning. |
| ASL-3 | Meaningful assistance in CBRN weapon creation. | Hardened security, strict access controls, delayed deployment. |
| ASL-4 | capabilities that could autonomously replicate or evade control. | Physical isolation, extreme security vetting, potential pause in training. |
Amodei 的評論強調了一種日益增長的共識:僅靠私部門行動不足以管理生物武器民主化的風險。雖然 Anthropic 的 RSP 是一套嚴格的內部規程,但它並不約束其他行為者。如果競爭者在沒有類似防護措施的情況下釋出具備 ASL-3 能力的模型,整個生態系仍然脆弱。
這種「集體行動問題」就是為何 Amodei 與其他 AI 領導人頻繁出現在華盛頓,於參議院委員會前作證並向官員簡報。他們主張政府介入是必要的,以建立所有開發者都必須遵守的安全基線。這可能包括針對國家安全風險的強制性部署前測試、大型訓練執行的通報要求,以及關於先進 AI 權重輸出的國際條約。
然而,監管格局仍然支離破碎。儘管美國政府已發布與 AI 安全相關的行政命令,全面立法仍處於早期階段。Amodei 的警告成為一個催化劑,敦促立法者加快步伐。他指出,可行監管的窗口正在關閉;一旦具備生物武器能力的「開放權重」模型被釋出到野外,就無法收回。
從 Anthropic 流出的敘事是一種謹慎而急迫的語調。公司承認,AI 有潛力解決人類最難以攻克的一些問題,從治癒疾病到解決氣候變遷。Amodei 自己也談到過所謂的「壓縮的 21 世紀」,即 AI 將科學進展加速數十年。
然而,被濫用的陰影仍然籠罩。關於生物武器的警告不僅僅是科幻小說中的假設情節,而是一個具體的風險向量,需立即以技術與政策手段加以緩解。隨著產業向前推進,我們技術的「青春期」與制度的成熟度之間的緊張關係,可能會定義下一個十年的歷史。
目前,業內一位資深人士的訊息很清楚:我們正在構建極具能量的工具,必須確保我們控制它們的能力與我們創造它們的能力同步成長。問題在於,產業能否成功駕馭這一悖論,抑或競爭壓力最終會侵蝕為我們安全設置的護欄。