深入探讨
人工智能安全涉及多个领域。一方面是常见的产品风险：幻觉、偏见、隐私泄露、诈骗和不安全的建议。另一方面，风险随着能力的增长而增长：追求非预期目标的自主系统、有助于解决灾难性误用（病原体、网络攻击）的模型，以及迫使实验室在安全工作准备就绪之前进行部署的竞争竞赛。存在风险讨论的重点是未来人工智能系统变得足够强大，以至于单一故障——错位、失控或不可逆转的扩散——可能会永久限制人类的未来。您不需要为该结果分配很高的概率来认真对待这项研究；低概率、影响极大的风险仍然需要做好准备，就像在生物安全和核安全领域一样。今天的实际安全工作包括评估、红队、可解释性、控制技术、治理（谁可以培训什么）和公众理解，以便社会能够支持良好的政策。
现实世界的实施
发布前针对生物安全、网络和欺骗风险的红队模型。
运行能力评估，检查模型是否可以协助完成危险任务。
部署分层控制：使用策略、监控、速率限制和高风险操作的人工升级。
设计模型在生产中失败或越狱蔓延时的事件响应。
人工智能安全的未来
随着模型获得工具使用和自主权，安全性将从“不要说坏话”转向“在没有可靠监督的情况下不要采取不可逆转的行动”。预计会有更多标准化的评估、第三方审计、计算和发布政策以及公众对透明度的需求。识字是安全的一部分：如果只有专家了解风险，民主治理就无法跟上。
付诸实践
为什么这很重要
- 风险与安全. 灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。
- 更清晰的判决. 公众和专业素养决定强有力的安全政策在政治上是否可行。
- 打破炒作. 清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。
留意
- 将存在风险视为科幻小说，同时能力复合。
- 混淆了表面产品安全与高度自治下的对准。
- 只给非英语和非专业观众留下低质量的资源。
后续步骤
- 单独的产品危害、误用和失控/失调风险。
- 询问哪些证据会改变您对时间表和严重性的看法。
- 比起营销主张，更喜欢主要来源和具体评估。
- 确定一条行动路径：职业、政策、资金或技能——而不仅仅是意识。
不断探索
常见问题
什么是人工智能安全？
人工智能安全是一个专注于防止人工智能系统造成严重危害的领域——从日常故障和误用到先进、高性能系统的灾难性和生存风险。
在指南的能力-协调-安全心智模型中，能力描述了什么？
The guide defines capability as system ability, distinct from alignment and security.
规范博弈对于人工智能安全意味着什么？
The guide’s safety concepts distinguish optimizing a proxy from the intended objective.
使用工具的代理仅依赖输出过滤器有什么风险？
The guide notes that output-only safeguards can fail with jailbreaks or multi-step actions.
为什么将红队纳入安全计划？
The guide names adversarial testing as practical safety work.
除了精美的模型卡之外，安全评估还应该检查什么？
The guide calls for measuring capabilities and testing behavior under deployment conditions.