概述
它包括普通的軟體安全和針對學習或模型行為的威脅。安全設計始於實際應用程式的資產、對手和信任邊界。
重點摘要
- 對完整應用程式進行威脅建模。
- 在模型外部強制執行權限。
- 重新測試跨系統變更的控制。
深入探討
確定需要保護的內容:私人輸入、訓練資料、模型工件、憑證、連接帳戶和外部操作。記錄誰可以影響每個輸入以及攻擊者可以從失敗中獲得什麼。公共聊天機器人和具有寫入權限的內部代理具有不同的威脅模型。威脅可能會影響不同的階段。有毒的訓練材料會改變習得的行為;對抗性輸入可以操縱預測;不受信任的檢索內容可以重定向使用工具的應用程式。當模型輸出插入資料庫查詢、網頁或命令而未經適當處理時,也可能變得危險。在軟體邊界應用控制。在程式碼中強制授權,盡可能將機密保留在模型可見上下文之外,限制工具範圍,並在使用前驗證輸出。要求模型安全運行的提示不能取代帳戶隔離或權限檢查。在授權環境中測試代表性故障路徑並維護事件流程。記錄足夠的資訊以進行調查,而無需收集不必要的敏感內容。在模型、檢索來源、工具和依賴項發生變更後評估控制。誠實地描述剩餘風險;沒有一個過濾器可以提供完整的保護。
04工作範例
找到安全邊界
想像一下,一名助理在私人文件儲存中搜尋登入使用者。
在文件進入模型上下文之前,在檢索服務中應用使用者的存取過濾器。
使用屬於不同帳戶的文件進行測試,並驗證其內容和識別元資料均未出現在結果中。
它顯示了什麼
這種防禦性的假設測試獨立於模型是否願意遵循指令來檢查授權。
現實世界的實施
檢查一個帳戶是否無法檢索另一個帳戶的文件。
在資料庫操作中使用產生的欄位之前驗證它們。
付諸實踐
為什麼這很重要
- 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
- 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
- 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。
留意
- 將存在風險視為科幻小說,同時能力複合。
- 混淆了表面產品安全與高度自治下的對準。
- 只給非英語和非專業觀眾留下低品質的資源。
後續步驟
- 單獨的產品危害、誤用和失控/失調風險。
- 詢問哪些證據會改變您對時間表和嚴重性的看法。
- 比起行銷主張,更喜歡主要來源和具體評估。
- 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。
資料來源與延伸閱讀
- NIST對抗性機器學習分類法
不斷探索
常見問題
強大的系統提示足以確保獲得助手嗎?
不會。身份驗證、授權、輸入和輸出處理、工具限制和事件回應仍然是應用程式的必要部分。