深入探討
AGI 沒有一個統一的定義。有些人的意思是“在大多數知識工作上與人類專業人士的平均水平相匹配”,另一些人的意思是“可以自動化大多數具有經濟價值的任務”,而另一些人則保留這個術語來形容可以在科學和戰略方面自我改進或超越人類的系統。這個定義很重要,因為政策、投資和安全規劃都取決於您認為此類系統何時到來以及它們能做什麼。從嚴格的定義來看,當前的大型語言模型並不是 AGI,但它們已經表現出了廣泛的能力和快速的改進——這就是為什麼時間表受到爭議,也是為什麼存在風險研究人員將 AGI(以及超越它的系統)視為一個實時規劃問題而不是科幻小說。如果 AGI 級系統可以在有限的監督下運行,那麼協調和控制問題就不再是學術問題了。
現實世界的實施
追蹤前沿模型如何從聊天擴展到編碼、研究協助和多步驟工具使用。
比較實驗室對 AGI 的公開定義以及他們聲稱對安全政策重要的閾值。
如果系統可以取代大量遠端認知勞動,則需要規劃經濟和安全影響。
通用人工智慧的未來
預計關於時間表的爭論將持續下去,政府對前沿訓練的興趣將更大,以及定義可衡量的能力閾值的壓力。對大眾來說,有用的收穫不是精確的年份——而是旅行的方向是朝著更通用、更自主的系統發展,而安全工作需要保持領先地位。
付諸實踐
為什麼這很重要
- 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
- 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
- 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。
留意
- 將存在風險視為科幻小說,同時能力複合。
- 混淆了表面產品安全與高度自治下的對準。
- 只給非英語和非專業觀眾留下低品質的資源。
後續步驟
- 單獨的產品危害、誤用和失控/失調風險。
- 詢問哪些證據會改變您對時間表和嚴重性的看法。
- 比起行銷主張,更喜歡主要來源和具體評估。
- 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。
不斷探索
常見問題
什麼是通用人工智慧?
通用人工智慧 (AGI) 是指在大多數認知任務中具有廣泛的人類層級(或更高)能力的人工智慧系統,而不僅僅是翻譯或圖像標記等狹隘技能。
通用人工智慧與狹義人工智慧有何不同?
狹義系統擅長執行國際象棋或翻譯等特定任務; AGI 指的是跨廣泛任務的靈活的、人類水平的能力。
莫拉維克悖論觀察到了什麼?
漢斯·莫拉維克(Hans Moravec)指出,高級推理相對容易實現自動化,而透過進化完善的感覺運動技能卻很難實現。
Which benchmark did François Chollet propose as a concrete way to measure skill-acquisition efficiency on abstract puzzles?
ARC 提出了一個需要從幾個例子中得出新規則的小型網格謎題,其目標是泛化而不是記憶的知識。
與 I. J. Good 相關的「智力爆炸」假說是什麼?
1965 年,古德提出超級智慧機器可以設計出更好的機器,從而實現遞歸的自我改進。
薩頓 (Rich Sutton) 的文章《痛苦的教訓》爭論了人工智慧的進步如何?
Sutton argued that general methods using more computation have repeatedly proved more effective over time than methods built around handcrafted domain knowledge.