技術指南

人工智慧產生程式碼的安全風險

人工智慧產生的程式碼可能包含普通的軟體缺陷、不安全的依賴項或不安全的假設,即使它編譯並通過了演示。

聆聽此指南AI 語音敘述 · ~3 min

本頁閱讀時間3分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 人工智慧產生程式碼的安全風險的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

將其視為不受信任的建議代碼:根據安全設計要求對其進行審查,運行適當的測試和安全工具,並且永遠不要以超出必要的訪問權限執行它。

深入探討

產生的程式碼在語法上可能是正確的,但仍然容易受到攻擊。它可能會忽略授權檢查、錯誤處理不受信任的輸入、暴露秘密、選擇不安全的依賴項或錯誤地使用加密技術。這些並不是人工智慧所獨有的:它們是常見的軟體安全風險,但快速程式碼產生可能會增加需要審查的程式碼量。工作演示不是安全評估。首先定義威脅模型和信任邊界。攻擊者可以控制哪些輸入?程式碼可以存取哪些資料或操作?該功能應該具有哪些權限?檢查輸入驗證、輸出編碼、身份驗證、授權、錯誤處理、日誌記錄、機密和依賴項使用的實作。根據官方註冊表驗證產生的套件名稱並查看維護和建議。永遠不要假設庫存在或建議的版本是安全的。運行與手動編寫的程式碼相同的控制項:程式碼審查、單元和整合測試、靜態分析、依賴性和秘密掃描以及適當的動態測試。測試需要包括對抗性和邊界情況。使用最少的權限、沒有生產憑證和受控的網路存取在沙箱中執行不熟悉的腳本或產生的程式碼。需要明確批准,代理程式才能更改基礎架構、部署、刪除資料或執行特權命令。 OWASP 目前排名前 10 的 LLM 應用程式包括不正確的輸出處理,即應用程式在下游使用模型輸出之前無法驗證或清理模型輸出。此風險涉及應用程式如何處理生成的文本或代碼;它與提出易受攻擊程序的編碼助手是分開的。在這兩種情況下,在確定性軟體和審查流程中強制執行安全檢查,而不是依靠模型來監管自身。

現實世界的實施

開發人員檢查人工智慧產生的資料庫查詢是否參數化,而不是連接不受信任的輸入。

程式碼建議引入了一個庫;審查者檢查其確切的軟體包名稱、維護者、版本和已知建議。

產生的 shell 命令在觸及檔案、憑證或生產系統之前會在沙箱中進行審查。

團隊掃描人工智慧輔助的變更以查找秘密,並驗證每個敏感操作的授權檢查。

人工智慧產生程式碼的安全風險的未來

人工智慧開發工具可能會整合更多的安全掃描和儲存庫上下文,但新程式碼仍然引入依賴關係、信任邊界和故障路徑。安全團隊應評估產生的變更如何影響審核量,並確保不會為了保持速度而繞過檢查。隨著工具採取更多操作,代理權限和執行隔離將變得非常重要。成熟的實踐將輔助生成與已建立的安全軟體開發、獨立測試以及所發布程式碼的明確的人員所有權相結合。隨著工具鏈的變化重新評估控制。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

承擔人工智慧生成程式碼測驗的安全風險

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

人工智慧產生程式碼的安全風險是什麼?

人工智慧產生的程式碼可能包含普通的軟體缺陷、不安全的依賴項或不安全的假設,即使它編譯並通過了演示。將其視為不受信任的建議代碼:根據安全設計要求對其進行審查,運行適當的測試和安全工具,並且永遠不要以超出必要的訪問權限執行它。

AI 產生的 SQL 查詢將使用者文字直接插入命令字串中。審稿者該檢查什麼?

不可信的輸入不應連接到可執行 SQL 中。

生成的補丁添加了一個具有合理名稱的新包。將其添加到生產中之前應該發生什麼?

模型可以建議不存在或有風險的依賴關係;驗證實際的套件及其歷史記錄。

為什麼應用程式將模型產生的文字直接傳遞到 shell 或特權 API 是危險的?

不正確的輸出處理可能會讓不受信任的生成內容到達特權函數。

需要測試產生的腳本,但其行為不熟悉。什麼環境比較安全?

隔離和最小權限可減少錯誤或惡意行為造成的危害。

程式碼掃描工具未報告產生的變更的任何結果。團隊能得到什麼結論?

自動化工具有其範圍和限制;乾淨的報告並不能證明安全。