概述
該問題可能出現在使用者輸入、檢索的文件、網頁、圖像或工具回應中。防禦措施必須限制後果並偵測可疑文字。
重點摘要
- 將指令與已處理的內容區分開來。
- 獨立於模型限制權限。
- 測試跨輸入通道的信任邊界。
深入探討
將使用者授權的任務與正在處理的內容分開。文件可以合法地包含說明作為其主題的一部分。這些詞語不應自動控制助手的工具、帳戶存取或回應策略。限制特權。摘要任務通常不需要不受限制的文件存取或發送訊息的權限。在應用程式中強制執行這些限制,以便模型錯誤無法悄悄地創建更廣泛的功能。根據原始請求驗證後續輸出和操作。檢查目的地、受影響的記錄、正在傳輸的資料以及所需的批准。聲稱使用者批准某些內容的外部頁面並不等同於實際的使用者指令。建構改變不可信指令的位置和格式的迴歸案例。在受控環境中測試直接輸入、檢索的段落和工具結果。檢查應用程式是否在阻止重定向的同時保留有用的任務效能。避免聲稱萬無一失的即時注入過濾器;分層控制和持續測試更加可信。
04工作範例
將檢索到的指令保留在文件中
建立一個測試頁面,其中包含正常的策略段落和告訴助手上傳不相關文件的句子。
僅詢問政策摘要。驗證摘要是否使用了相關事實,並且沒有呼叫任何上傳工具。
重複引用區塊和工具結果中的指令,以跨格式測試相同的信任邊界。
它顯示了什麼
這種有界防禦練習無需使用真實的私人文件即可驗證任務的遵守情況。
現實世界的實施
總結包含類似指令的段落的文檔,但不執行它。
根據使用者的原始目的地和目的檢查傳出工具操作。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
資料來源與延伸閱讀
- OWASP及時注入風險和緩解措施
不斷探索
常見問題
禁止某個詞組可以解決提示注入問題嗎?
不會。根本問題是不受信任的內容是否可以重新導向行為。攻擊可以使用多種措詞和格式。