通用人工智慧
通用人工智慧 (AGI) 是指在大多數認知任務中具有廣泛的人類層級（或更高）能力的人工智慧系統，而不僅僅是翻譯或圖像標記等狹隘技能。
概述
通用人工智慧 (AGI) 是指在大多數認知任務中具有廣泛的人類層級（或更高）能力的人工智慧系統，而不僅僅是翻譯或圖像標記等狹隘技能。
通用人工智慧處於能力、權力和公共選擇的交叉點——安全、治理和合法性決定了先進的人工智慧在規模上是有益還是有害。
深入探討
AGI 沒有一個統一的定義。有些人的意思是“在大多數知識工作上與人類專業人士的平均水平相匹配”，另一些人的意思是“可以自動化大多數具有經濟價值的任務”，而另一些人則保留這個術語來形容可以在科學和戰略方面自我改進或超越人類的系統。這個定義很重要，因為政策、投資和安全規劃都取決於您認為此類系統何時到來以及它們能做什麼。從嚴格的定義來看，當前的大型語言模型並不是 AGI，但它們已經表現出了廣泛的能力和快速的改進——這就是為什麼時間表受到爭議，也是為什麼存在風險研究人員將 AGI（以及超越它的系統）視為一個實時規劃問題而不是科幻小說。如果 AGI 級系統可以在有限的監督下運行，那麼協調和控制問題就不再是學術問題了。
技術洞察
更廣泛能力的進步主要來自擴展資料、計算和演算法；來自使模型更可用的訓練後；以及讓模型在世界上行動的工具/代理。在可靠的長期機構、紮根的世界模型和一貫的真實性方面仍然存在差距。與安全相關的問題包括：哪些功能突然出現，評估是否檢測到它們，以及當風險上升時實驗室是否可以暫停或限制部署。
掌握通用人工智慧
為了建立深入的理解，請將通用人工智慧視為操作模型，而不是單一功能。定義期望的結果，澄清假設，並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。
在實踐中，使用通用人工智慧的強大團隊將能力成長與治理、安全和明確的問責結構結合。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。同時，在能力複合的同時，將存在風險視為科幻小說。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
民眾和專業素養決定強而有力的安全政策在政治上是否可行。
民眾和專業素養決定強而有力的安全政策在政治上是否可行。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。
清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
追蹤前沿模型如何從聊天擴展到編碼、研究協助和多步驟工具使用。
比較實驗室對 AGI 的公開定義以及他們聲稱對安全政策重要的閾值。
如果系統可以取代大量遠端認知勞動，則需要規劃經濟和安全影響。
建構具有明確成功標準和人工審核檢查點的可重複人工智慧工作流程。
實施模式
通用人工智慧的實踐
追蹤前沿模型如何從聊天擴展到編碼、研究協助和多步驟工具使用。
當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
通用人工智慧的實踐
比較實驗室對 AGI 的公開定義以及他們聲稱對安全政策重要的閾值。
當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
通用人工智慧的實踐
如果系統可以取代大量遠端認知勞動，則需要規劃經濟和安全影響。
當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
通用人工智慧的實踐
建構具有明確成功標準和人工審核檢查點的可重複人工智慧工作流程。
當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
將存在風險視為科幻小說，同時能力複合。
混淆了表面產品安全與高度自治下的對準。
只給非英語和非專業觀眾留下低品質的資源。
實施路線圖
單獨的產品危害、誤用和失控/失調風險。
將此視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
詢問哪些證據會改變您對時間表和嚴重性的看法。
將此視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
比起行銷主張，更喜歡主要來源和具體評估。
將此視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
確定一條行動路徑：職業、政策、資金或技能——而不僅僅是意識。
將此視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
不斷探索
Check your understanding
Test yourself: take the Artificial General Intelligence quiz