深入探讨
AGI 没有一个统一的定义。有些人的意思是“在大多数知识工作上与人类专业人士的平均水平相匹配”，另一些人的意思是“可以自动化大多数具有经济价值的任务”，而另一些人则保留这个术语来形容可以在科学和战略方面自我改进或超越人类的系统。这个定义很重要，因为政策、投资和安全规划都取决于您认为此类系统何时到来以及它们能做什么。从严格的定义来看，当前的大型语言模型并不是 AGI，但它们已经表现出了广泛的能力和快速的改进——这就是为什么时间表受到争议，也是为什么存在风险研究人员将 AGI（以及超越它的系统）视为一个实时规划问题而不是科幻小说。如果 AGI 级系统可以在有限的监督下运行，那么协调和控制问题就不再是学术问题了。
现实世界的实施
跟踪前沿模型如何从聊天扩展到编码、研究协助和多步骤工具使用。
比较实验室对 AGI 的公开定义以及他们声称对安全政策重要的阈值。
如果系统可以替代大量远程认知劳动，则需要规划经济和安全影响。
通用人工智能的未来
预计关于时间表的争论将持续下去，政府对前沿训练的兴趣会更大，以及定义可衡量的能力阈值的压力。对于公众来说，有用的收获不是精确的年份——而是旅行的方向是朝着更通用、更自主的系统发展，而安全工作需要保持领先地位。
付诸实践
为什么这很重要
- 风险与安全. 灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。
- 更清晰的判决. 公众和专业素养决定强有力的安全政策在政治上是否可行。
- 打破炒作. 清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。
留意
- 将存在风险视为科幻小说，同时能力复合。
- 混淆了表面产品安全与高度自治下的对准。
- 只给非英语和非专业观众留下低质量的资源。
后续步骤
- 单独的产品危害、误用和失控/失调风险。
- 询问哪些证据会改变您对时间表和严重性的看法。
- 比起营销主张，更喜欢主要来源和具体评估。
- 确定一条行动路径：职业、政策、资金或技能——而不仅仅是意识。
不断探索
常见问题
什么是通用人工智能？
通用人工智能 (AGI) 是指在大多数认知任务中具有广泛的人类水平（或更高）能力的人工智能系统，而不仅仅是翻译或图像标记等狭隘技能。
通用人工智能与狭义人工智能有何区别？
狭义系统擅长执行国际象棋或翻译等特定任务； AGI 指的是跨广泛任务的灵活的、人类水平的能力。
莫拉维克悖论观察到了什么？
汉斯·莫拉维克（Hans Moravec）指出，高级推理相对容易实现自动化，而通过进化完善的感觉运动技能却很难实现。
弗朗索瓦·乔莱 (François Chollet) 提出了哪个基准作为衡量抽象谜题技能习得效率的具体方法？
ARC 提出了需要从几个例子中得出新规则的小型网格谜题，其目标是泛化而不是记忆的知识。
与 I. J. Good 相关的“智力爆炸”假说是什么？
1965 年，古德提出超级智能机器可以设计出更好的机器，从而实现递归的自我改进。
里奇·萨顿 (Rich Sutton) 的文章《痛苦的教训》争论了人工智能的进步如何？
萨顿认为，随着时间的推移，使用更多计算的通用方法已被反复证明比围绕手工制作的领域知识构建的方法更有效。