概述
它们可以降低特定风险，但并不能保证系统安全，也无法确保捕获每一个有害请求。
深入探讨
护栏可以在生成前、生成后以及工具调用周围运行。输入控制可以识别可疑指令或不可信内容；输出处理可以在下游使用之前验证、清理、审核或阻止模型响应。OWASP 将提示注入和不当的输出处理视为不同的应用风险。这些措施作为授权、最小权限工具访问和人工审核的补充层发挥作用。审核分类器或策略规则可能会遗漏有害内容或阻止合法请求，因此组织应测试代表性案例并定义如何处理模糊结果。流式传输增加了时序问题：由于文本可能在完整响应存在之前显示，系统可能会缓冲输出或审核分块，从而在延迟和审查覆盖范围之间进行权衡。
现实世界的实施
在将不可信的检索文本用作模型上下文之前，请检查其中是否存在提示注入尝试。
在将模型输出传递给工具或显示之前，对其进行验证和清理。
Buffer 或在完整响应检查来得太晚时，分块审查流式输出。
测试被禁止的提示和合法的边缘情况，然后在部署后审查错误模式。
护栏和输出调节的未来
护栏的质量取决于随着模型、工具、用户和攻击模式的变化而进行的反复评估和监控。风险管理框架强调治理、部署前测试和事件响应；团队应根据其特定系统调整控制措施并记录其局限性。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是护栏与输出审核？
护栏是应用层面的控制措施，用于根据既定策略检查模型的输入、输出或工具操作。它们可以降低特定风险，但并不能保证系统安全，也无法确保捕获每一个有害请求。
语言模型上下文中的护栏是什么？
护栏是一个控制层，可过滤输入并检查输出以阻止有害或违反策略的内容。
“输出审核”具体检查什么？
输出审核会在模型生成的文本显示给用户之前扫描其中是否存在有害内容。
以下是输入侧护栏的示例？
输入护栏可以捕获诸如恶意提示和提示注入尝试之类的东西。
为什么调节流式（逐个令牌）响应更困难？
由于令牌是在生成时显示的，因此系统必须分块进行缓冲或调整，以及时发现问题。
护栏工程师必须抓住的关键平衡点是什么？
良好的护栏可以阻止真正有害的内容，而不会因过度阻止而使合法用户感到沮丧。