引導式測驗 · 中等 等級
特工護欄測驗
評估輸出和輸入過濾器、最低權限工具、紅隊、NIST 監控以及安全控制的限制。
問題 1 的 8
代理護欄的主要用途是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 代理護欄的主要用途是什麼?
- 為了安全和合規性,限制代理可以做什麼、說什麼或訪問
- 讓代理響應更慢
- 增加代理的詞彙量
- 完全替換底層模型
- 「輸出護欄」通常有什麼作用?
- 僅篩選傳入的使用者提示
- 在交付前檢查代理的回應是否有有毒、虛假或不合規內容
- 加快模型的訓練速度
- 授予代理更多工具存取權限
- 「最小特權原則」如何應用在行動護欄?
- 代理人已獲得一切可能的許可
- 代理人必須無緣無故徵求許可
- 代理僅獲得其所需的範圍狹窄的工具、密鑰和限制
- 為了方便起見,代理被授予管理員存取權限
- 護欄中的「法官」或驗證器模型有何用途?
- 生成代理人的主要答案
- 用於儲存用戶密碼
- 僅翻譯語言
- 對代理輸出的安全性或準確性進行評級或事實檢查
- 為什麼針對對抗性輸入測試護欄很重要?
- 因為攻擊者嘗試越獄,所以必須探測護欄而不是盲目信任
- 它故意讓代理變慢
- 它消除了對任何規則的需要
- 它保證模型永遠不會出錯
- 哪一個例子顯示了有效的行動護欄?
- 無消費限制的代購
- 在模型之外強制執行每筆交易 100 美元硬性上限的採購代理
- 可以運行任何它想要的命令的代理
- 忽略所有權限的代理
- What does NIST’s Generative AI Profile say content filters can do?
- Guarantee that all false or harmful content is removed
- Verify that every generated answer is factually correct
- Use rule-based or machine-learning methods to flag problematic inputs and outputs
- Replace all post-deployment monitoring
- What can a NIST post-deployment monitoring plan include for generative AI?
- A guarantee that all outputs will be safe
- A replacement for pre-deployment testing
- An instruction to ignore user-reported issues
- Mechanisms to capture user input and support appeal, override, incident response, and updates