引导式测验 · 中等等级

特工护栏测验

评估输出和输入过滤器、最低权限工具、红队、NIST 监控以及安全控制的限制。

代理护栏的主要用途是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

代理护栏的主要用途是什么？
- 为了安全和合规性，限制代理可以做什么、说什么或访问
- 让代理响应更慢
- 增加代理的词汇量
- 完全替换底层模型
“输出护栏”通常有什么作用？
- 仅筛选传入的用户提示
- 在交付前检查代理的响应是否存在有毒、虚假或不合规内容
- 加快模型的训练速度
- 授予代理更多工具访问权限
“最小特权原则”如何应用于行动护栏？
- 代理人已获得一切可能的许可
- 代理人必须无缘无故地征求许可
- 代理仅获得其所需的范围狭窄的工具、密钥和限制
- 为了方便起见，代理被授予管理员访问权限
护栏中的“法官”或验证器模型有何用途？
- 生成代理的主要答案
- 用于存储用户密码
- 仅翻译语言
- 对代理输出的安全性或准确性进行评级或事实检查
为什么针对对抗性输入测试护栏很重要？
- 因为攻击者尝试越狱，所以必须探测护栏而不是盲目信任
- 它故意让代理变慢
- 它消除了对任何规则的需要
- 它保证模型永远不会出错
哪个例子展示了有效的行动护栏？
- 无消费限制的代购
- 在模型之外强制执行每笔交易 100 美元硬性上限的采购代理
- 可以运行任何它想要的命令的代理
- 忽略所有权限的代理
What does NIST’s Generative AI Profile say content filters can do?
- Guarantee that all false or harmful content is removed
- Verify that every generated answer is factually correct
- Use rule-based or machine-learning methods to flag problematic inputs and outputs
- Replace all post-deployment monitoring
What can a NIST post-deployment monitoring plan include for generative AI?
- A guarantee that all outputs will be safe
- A replacement for pre-deployment testing
- An instruction to ignore user-reported issues
- Mechanisms to capture user input and support appeal, override, incident response, and updates