返回新聞
政策AI Understanding 簡報

纽瑟姆任命专家推进人工智能终止开关和监督

紐瑟姆州長宣布任命一組領先專家就他的人工智慧行政命令提供建議,重點是獨立監督和為流氓前沿模型創建潛在的「殺戮開關」。

4 min readRead the linked source
Source-provided image accompanying Newsom appoints experts to advance AI kill switch and oversight
來源參考來源記錄
出版商
gov.ca.gov
來源連結
gov.ca.govhttps://www.gov.ca.gov/2026/09/23/governor-newsom-announces-world-leading-experts-to-deliver-on-his-ai-executive-order-including-advancing-creation-of-a-kill-switch/
來源類型
連結來源-主要來源狀態尚未確定。
背景60 秒內了解這一點

從這裡開始

關鍵術語

人工智慧(AI)
建構執行需要模式識別、推理、語言或決策的任務的系統的廣泛領域。
人工智慧對齊
讓人工智慧系統按照人類意圖、價值觀和安全約束行事的工作。
人工智慧安全
該領域專注於減少人工智慧系統中的有害行為、故障和誤用風險。
測試一下自己人工智慧道德測驗

發生了什麼事

州長加文紐瑟姆 (Gavin Newsom) 宣布成立一個專家小組,就加州的人工智慧行政命令提供建議,該行政命令旨在加速獨立監督並為前沿人工智慧模型開發「終止開關」。

州長加文紐瑟姆 (Gavin Newsom) 宣布組建一組領先專家,就他最近的人工智慧行政命令所要求的建議提供建議。該命令旨在加速對人工智慧公司的獨立監督,並推動為流氓前沿模型創建潛在的「終止開關」。該專家組由技術、政策和治理領域的人士組成,將與技術研究人員合作,指導加州的人工智慧安全和保全治理。

正在考慮的提案包括要求前沿人工智慧公司嵌入獨立第三方來驗證安全框架並獨立評估安全評估。此外,該命令還指示政府營運機構加快參議院第 813 號法案和議會第 1405 號法案的實施時間表,這兩項法案分別為獨立驗證組織和人工智慧審計員國家註冊機構建立了框架。

宣布的專家包括前白宮首席數位長傑森·戈德曼(Jason Goldman); Gillian Hadfield,約翰·霍普金斯大學教授,專注於人工智慧對齊;阿隆德拉·納爾遜 (Alondra Nelson),高等研究院教授;羅布·賴克(Rob Reich),史丹佛大學教授。這些人將幫助將專業知識應用於快速發展的人工智慧能力,並解決有關安全和保障的問題。

來源詳情: gov.ca.gov

為什麼這很重要

此舉建立了一個具體的州級機制,用於獨立驗證人工智慧安全聲明和緊急關閉能力,解決當前監管框架中聯邦監督缺失或有限的重大差距。它標誌著對高風險人工智慧系統進行強制性第三方審計和技術安全控制的轉變。

加州透過創建獨立驗證和緊急關閉功能的結構化方法,將自己定位為人工智慧監管的領導者。這很重要,因為目前沒有聯邦法律要求人工智慧公司報告危險事件或強制對前沿模型進行特定的安全控制。

為前沿模型引入「終止開關」概念代表了一種實用的技術控制,可以減輕與自主或流氓人工智慧行為相關的風險。透過在人工智慧公司中嵌入獨立的第三方,國家旨在確保安全聲明得到與公司成功沒有經濟利益關係的實體的驗證。

該行政命令以加州現有立法為基礎,包括 SB 53(前沿人工智慧透明度法案)和 SB 813,創建了一個涵蓋前沿模型安全、獨立監督和兒童安全標準的全面監管框架。它為其他州乃至聯邦政府提供了一個可以效仿的模式。

Interactive Mechanism

互動機制:它實際上是如何運作的

以互動方式探索這項發展背後的基礎技術。

Agent Lifecycle Stage:
1
User Intent & Planning: "Audit customer refund request #4092 and settle payment."
2
Tool Calling: Emits structured JSON call crm_get_transaction(id='4092').
3
Guardrail & Verification:🛡️ Paused: High-value action requires human operator sign-off.
4
Final Settlement: Refund recorded, email receipt dispatched, and audit log stored.
Core takeaway: An AI agent is not just a language model—it is a closed loop of planning, tool invocation, and environment feedback. Production systems require self-healing retries and strict human approval guardrails.
互動式概念檢查+10 Points
AI Ethics Quiz

Impossibility results in algorithmic fairness (e.g. Kleinberg et al., Chouldechova) show what?

接下來看什麼

請關注有關「終止開關」實施的具體技術建議、SB 813 和 AB 1405 實施的時間表,以及聯邦政府對加州不斷擴大的人工智慧監管框架的任何回應。

拟议的前沿模型“终止开关”的具体技术规格和可行性将是重点关注领域。该机制如何在不同的人工智能架构和公司中实施仍有待确定。

SB 813 和 AB 1405 的实施时间表至关重要。加快這些時間表可能會導致更早部署獨立驗證組織和人工智慧審計註冊機構,這將對人工智慧公司在加州的運作方式產生直接的實際影響。

人工智慧產業和聯邦政府對加州不斷擴大的監管框架的反應非常重要。州長呼籲國會和總統採用或使用加州的框架作為國家標準的基礎,這可能會導致進一步的政策發展或衝突。

相關指引和測驗

AI 倫理AI 的未來人工智慧模型解釋測試你所知道的—嘗試免費的人工智慧測驗在我們的詞彙表中尋找人工智慧術語
覺得有用嗎?