引導式測驗 · 中等 等級

特工護欄測驗

評估輸出和輸入過濾器、最低權限工具、紅隊、NIST 監控以及安全控制的限制。

相關引導路徑代理護欄
問題 1 的 8

代理護欄的主要用途是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 代理護欄的主要用途是什麼?
    • 為了安全和合規性,限制代理可以做什麼、說什麼或訪問
    • 讓代理響應更慢
    • 增加代理的詞彙量
    • 完全替換底層模型
  2. 「輸出護欄」通常有什麼作用?
    • 僅篩選傳入的使用者提示
    • 在交付前檢查代理的回應是否有有毒、虛假或不合規內容
    • 加快模型的訓練速度
    • 授予代理更多工具存取權限
  3. 「最小特權原則」如何應用在行動護欄?
    • 代理人已獲得一切可能的許可
    • 代理人必須無緣無故徵求許可
    • 代理僅獲得其所需的範圍狹窄的工具、密鑰和限制
    • 為了方便起見,代理被授予管理員存取權限
  4. 護欄中的「法官」或驗證器模型有何用途?
    • 生成代理人的主要答案
    • 用於儲存用戶密碼
    • 僅翻譯語言
    • 對代理輸出的安全性或準確性進行評級或事實檢查
  5. 為什麼針對對抗性輸入測試護欄很重要?
    • 因為攻擊者嘗試越獄,所以必須探測護欄而不是盲目信任
    • 它故意讓代理變慢
    • 它消除了對任何規則的需要
    • 它保證模型永遠不會出錯
  6. 哪一個例子顯示了有效的行動護欄?
    • 無消費限制的代購
    • 在模型之外強制執行每筆交易 100 美元硬性上限的採購代理
    • 可以運行任何它想要的命令的代理
    • 忽略所有權限的代理
  7. What does NIST’s Generative AI Profile say content filters can do?
    • Guarantee that all false or harmful content is removed
    • Verify that every generated answer is factually correct
    • Use rule-based or machine-learning methods to flag problematic inputs and outputs
    • Replace all post-deployment monitoring
  8. What can a NIST post-deployment monitoring plan include for generative AI?
    • A guarantee that all outputs will be safe
    • A replacement for pre-deployment testing
    • An instruction to ignore user-reported issues
    • Mechanisms to capture user input and support appeal, override, incident response, and updates