社團指南

前沿人工智慧安全框架和負責任的擴展政策

前沿人工智慧安全框架,例如負責任的擴展政策,是人工智慧實驗室發布的承諾,用於測試其模型的危險能力。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 前沿人工智慧安全框架和負責任的擴展政策的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

如果模型跨越設定的閾值,實驗室承諾增加更強有力的保護措施,或在這些保護措施到位之前不部署或不進一步培訓。這些框架很重要,因為它們是目前最先進的人工智慧模型治理災難性風險的主要方式,儘管其中大多數是自願的並且由實驗室自己編寫。

深入探討

Anthropic published the first Responsible Scaling Policy in September 2023. It introduced AI Safety Levels (ASLs), loosely modeled on biosafety levels, where higher levels require stronger security and deployment safeguards. A later version, in October 2024, restated the policy in terms of capability thresholds and required safeguards and described the role of a Responsible Scaling Officer. OpenAI released its Preparedness Framework as a beta in December 2023. It scored risk in tracked categories, originally including CBRN threats, cybersecurity, persuasion and model autonomy. A 2025 revision reorganized it around High and Critical capability thresholds and dropped persuasion as a tracked category. Google DeepMind published its Frontier Safety Framework in May 2024 and has revised it since. It defines Critical Capability Levels (CCLs) that trigger response plans. At the AI Seoul Summit in May 2024, 16 companies signed the Frontier AI Safety Commitments. They agreed to publish safety frameworks, set thresholds for intolerable risk, and not develop or deploy a model if its risks could not be kept below those thresholds. Many frameworks were published before the Paris AI Action Summit in February 2025. Critics point to several weaknesses. Labs write their own thresholds and can revise them on their own. Wording such as "meaningful uplift" leaves room for interpretation. External verification is limited, and commercial competition gives labs an incentive to read results generously. A common misconception is that these frameworks are laws. Most are voluntary, although this is changing. California's SB 53 requires large frontier developers to publish such a framework, and the EU's General-Purpose AI Code of Practice, a voluntary route to showing compliance with the AI Act, asks signatories to adopt one.

現實世界的實施

在發布之前,實驗室會測試新模型是否能為試圖獲取生物武器的人帶來有意義的提升。如果超過閾值,實驗室會在部署前添加更嚴格的誤用過濾器和安全措施。

2025年5月,Anthropic表示已為Claude Opus 4啟動ASL-3部署和安全保護作為預防措施,因為不能排除該模型已達到相關能力閾值。

OpenAI 的準備架構指導安全諮詢小組審查能力報告,並就發布前的保障措施是否充分向領導階層提供建議。

追蹤自主複製或人工智慧研究加速的實驗室運行代理評估。這些測試模型是否可以在沒有人工幫助的情況下完成長時間的多步驟任務。

前沿人工智慧安全框架和負責任的擴展政策的未來

框架正在从自愿承诺转向监管期望。加州現在要求大型前沿開發商發布它們,歐盟的行為準則要求簽署者採用它們,更多的司法管轄區可能會效仿。懸而未決的問題包括誰來審核合規性、如何在實驗室之間標準化閾值,以及評估是否能跟上快速改進的代理系統的步伐。包括政府人工智慧機構在內的獨立測試機構可能會在檢查實驗室聲明方面發揮更大的作用。核心的緊張局勢可能仍然存在:實驗室設計了評判它們的規則,這使得透明度和外部審查變得非常重要。

付諸實踐

為什麼這很重要

  • 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
  • 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
  • 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。

留意

  • 將存在風險視為科幻小說,同時能力複合。
  • 混淆了表面產品安全與高度自治下的對準。
  • 只給非英語和非專業觀眾留下低品質的資源。

後續步驟

  1. 單獨的產品危害、誤用和失控/失調風險。
  2. 詢問哪些證據會改變您對時間表和嚴重性的看法。
  3. 比起行銷主張,更喜歡主要來源和具體評估。
  4. 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加前沿人工智慧安全框架和負責任的擴展政策測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是前沿人工智慧安全框架和負責任的擴展政策?

前沿人工智慧安全框架,例如負責任的擴展政策,是人工智慧實驗室發布的承諾,用於測試其模型的危險能力。如果模型跨越設定的閾值,實驗室承諾增加更強有力的保護措施,或在這些保護措施到位之前不部署或不進一步培訓。這些框架很重要,因為它們是目前最先進的人工智慧模型治理災難性風險的主要方式,儘管其中大多數是自願的並且由實驗室自己編寫。

負責任的擴展政策的基本邏輯是什麼?

這些框架建立在「如果-那麼」承諾之上,將能力閾值與所需的保障措施連結起來。

哪家公司推出了 AI 安全等級 (ASLs)?

Anthropic 2023 年 9 月的負責任擴展政策引入了 ASL,大致以生物安全水準為模型。

Google DeepMind 在其前沿安全框架中將這些閾值稱為什麼?

DeepMind 使用關鍵能力等級 (CCL),當達到這些等級時會觸發反應計畫。

各公司在 2024 年 5 月的 AI 首爾峰會上達成了什麼共識?

Frontier AI 安全承諾是自願承諾發布框架,如果風險無法保持在閾值以下,則不會繼續實施。

OpenAI 的 2025 年準備度框架修訂版取消了哪一個追蹤類別?

此次修訂圍繞著高閾值和關鍵閾值重新組織了框架,並刪除了作為追蹤類別的說服。