通用人工智能
通用人工智能 (AGI) 是指在大多数认知任务中具有广泛的人类水平（或更高）能力的人工智能系统，而不仅仅是翻译或图像标记等狭隘技能。
概述
通用人工智能 (AGI) 是指在大多数认知任务中具有广泛的人类水平（或更高）能力的人工智能系统，而不仅仅是翻译或图像标记等狭隘技能。
通用人工智能处于能力、权力和公共选择的交叉点——安全、治理和合法性决定了先进的人工智能在规模上是有益还是有害。
深入探讨
AGI 没有一个统一的定义。有些人的意思是“在大多数知识工作上与人类专业人士的平均水平相匹配”，另一些人的意思是“可以自动化大多数具有经济价值的任务”，而另一些人则保留这个术语来形容可以在科学和战略方面自我改进或超越人类的系统。这个定义很重要，因为政策、投资和安全规划都取决于您认为此类系统何时到来以及它们能做什么。从严格的定义来看，当前的大型语言模型并不是 AGI，但它们已经表现出了广泛的能力和快速的改进——这就是为什么时间表受到争议，也是为什么存在风险研究人员将 AGI（以及超越它的系统）视为一个实时规划问题而不是科幻小说。如果 AGI 级系统可以在有限的监督下运行，那么协调和控制问题就不再是学术问题了。
技术洞察
更广泛能力的进步主要来自扩展数据、计算和算法；来自使模型更可用的训练后；以及让模型在世界上行动的工具/代理。在可靠的长期机构、扎根的世界模型和一贯的真实性方面仍然存在差距。与安全相关的问题包括：哪些功能突然出现，评估是否检测到它们，以及当风险上升时实验室是否可以暂停或限制部署。
掌握通用人工智能
为了建立深入的理解，请将通用人工智能视为一种操作模型，而不是单个功能。定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用通用人工智能的强大团队将能力增长与治理、安全和明确的问责结构结合起来。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。与此同时，在能力复合的同时，将存在风险视为科幻小说。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。
灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
公众和专业素养决定强有力的安全政策在政治上是否可行。
公众和专业素养决定强有力的安全政策在政治上是否可行。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。
清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
跟踪前沿模型如何从聊天扩展到编码、研究协助和多步骤工具使用。
比较实验室对 AGI 的公开定义以及他们声称对安全政策重要的阈值。
如果系统可以替代大量远程认知劳动，则需要规划经济和安全影响。
构建具有明确成功标准和人工审核检查点的可重复人工智能工作流程。
实施模式
通用人工智能的实践
跟踪前沿模型如何从聊天扩展到编码、研究协助和多步骤工具使用。
当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
通用人工智能的实践
比较实验室对 AGI 的公开定义以及他们声称对安全政策重要的阈值。
当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
通用人工智能的实践
如果系统可以替代大量远程认知劳动，则需要规划经济和安全影响。
当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
通用人工智能的实践
构建具有明确成功标准和人工审核检查点的可重复人工智能工作流程。
当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
风险与防护栏
将存在风险视为科幻小说，同时能力复合。
混淆了表面产品安全与高度自治下的对准。
只给非英语和非专业观众留下低质量的资源。
实施路线图
单独的产品危害、误用和失控/失调风险。
将此视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
询问哪些证据会改变您对时间表和严重性的看法。
将此视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
比起营销主张，更喜欢主要来源和具体评估。
将此视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
确定一条行动路径：职业、政策、资金或技能——而不仅仅是意识。
将此视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
不断探索
Check your understanding
Test yourself: take the Artificial General Intelligence quiz