概述
它们可以降低已识别的风险，但不能保证系统在每种情况下都是安全的。
深入探讨
护栏可以是确定性规则、权限边界、分类器或人工检查点。 NIST AI RMF 组织跨治理、映射、测量和管理的风险管理活动。 NIST 的对抗性机器学习分类法描述了攻击和缓解类别。额外的判断模型可能是错误的，因此它不应该是敏感操作的唯一安全边界。护栏可以减少特定的风险，但不能建立普遍的安全。最小权限限制可访问的工具和权限。 NIST AI 600-1 描述了内容过滤器，可以使用规则或其他机器学习模型来标记有问题的输入和输出，并建议部署后监控来捕获反馈并支持申诉、覆盖、事件响应和变更管理。
现实世界的实施
在执行之前根据允许列表验证工具参数。
将代理限制为只读访问（无需写入）。
在显示之前根据定义的策略检查生成的输出。
使用格式错误和对抗性的输入来测试控制。
特工护栏的未来
随着模型、工具和威胁条件的变化，护栏需要进行测试和监控。说明威胁模型和残余风险，而不是声称提供全面保护。
付诸实践
为什么这很重要
- 构建选择. 应用级设计决定了人工智能是否能改善实际结果。
- 团队与工作流程. 良好的工作流程集成可以创造用户值得信赖的生产力收益。
- 风险与安全. 范围明确的用例可以减少变更疲劳和实施风险。
留意
- 将损坏的流程自动化可能会加剧现有问题。
- 团队可能会过度自动化并消除所需的人工判断。
- 如果不持续评估输出，质量可能会出现偏差。
后续步骤
- 绘制当前工作流程并确定摩擦最大的步骤。
- 在完全自动化之前定义人工检查点。
- 对用户进行提示、升级路径和质量标准方面的培训。
- 跟踪任务级结果以确认持续价值。
不断探索
常见问题
什么是代理护栏？
代理护栏是对输入、输出和操作的控制。它们可以降低已识别的风险，但不能保证系统在每种情况下都是安全的。
代理护栏的主要用途是什么？
护栏可以限制特定的输入、输出、工具调用或资源限制，从而降低一些风险。没有护栏设置可以保证特工不会造成伤害。
“输出护栏”通常有什么作用？
输出护栏检查代理生成的响应，并在不安全或不合规的内容到达用户之前将其阻止。
“最小特权原则”如何应用于行动护栏？
最低权限限制代理可用的工具、凭据和权限，这可能会减少发生错误或妥协后可进行的操作。它不保证不会发生任何损坏。
护栏中的“法官”或验证器模型有何用途？
单独的判断模型可以在发布之前对主要代理的输出的安全性、政策合规性或事实准确性进行评分。
为什么针对对抗性输入测试护栏很重要？
对抗性测试（红队）揭示了护栏如何抵御越狱和注入尝试，而不是假设模型的行为。