概述
它包括普通的软件安全和针对学习或模型行为的威胁。安全设计始于实际应用程序的资产、对手和信任边界。
主要要点
- 对完整应用程序进行威胁建模。
- 在模型外部强制执行权限。
- 重新测试跨系统更改的控制。
深入探讨
确定需要保护的内容：私人输入、训练数据、模型工件、凭证、连接帐户和外部操作。记录谁可以影响每个输入以及攻击者可以从失败中获得什么。公共聊天机器人和具有写入权限的内部代理具有不同的威胁模型。威胁可能会影响不同的阶段。有毒的培训材料会改变习得的行为；对抗性输入可以操纵预测；不受信任的检索内容可以重定向使用工具的应用程序。当模型输出插入数据库查询、网页或命令而未经适当处理时，也可能变得危险。在软件边界应用控制。在代码中强制授权，尽可能将机密保留在模型可见上下文之外，限制工具范围，并在使用前验证输出。要求模型安全运行的提示不能取代帐户隔离或权限检查。在授权环境中测试代表性故障路径并维护事件流程。记录足够的信息以进行调查，而无需收集不必要的敏感内容。在模型、检索源、工具和依赖项发生更改后评估控制。诚实地描述剩余风险；没有一个过滤器可以提供完整的保护。
04工作示例
找到安全边界
想象一下，一名助理在私人文档存储中搜索登录用户。
在文档进入模型上下文之前，在检索服务中应用用户的访问过滤器。
使用属于不同帐户的文档进行测试，并验证其内容和识别元数据均未出现在结果中。
它显示了什么
这种防御性的假设测试独立于模型是否愿意遵循指令来检查授权。
现实世界的实施
检查一个帐户是否无法检索另一帐户的文档。
在数据库操作中使用生成的字段之前验证它们。
付诸实践
为什么这很重要
- 风险与安全. 灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。
- 更清晰的判决. 公众和专业素养决定强有力的安全政策在政治上是否可行。
- 打破炒作. 清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。
留意
- 将存在风险视为科幻小说，同时能力复合。
- 混淆了表面产品安全与高度自治下的对准。
- 只给非英语和非专业观众留下低质量的资源。
后续步骤
- 单独的产品危害、误用和失控/失调风险。
- 询问哪些证据会改变您对时间表和严重性的看法。
- 比起营销主张，更喜欢主要来源和具体评估。
- 确定一条行动路径：职业、政策、资金或技能——而不仅仅是意识。
资料来源与延伸阅读
- NIST对抗性机器学习分类法
不断探索
常见问题
强大的系统提示足以确保获得助手吗？
不会。身份验证、授权、输入和输出处理、工具限制和事件响应仍然是应用程序的必要部分。