模型提取和竊取攻擊
模型提取攻擊讓攻擊者只需查詢其公共 API 並根據答案訓練模仿者即可克隆專有的 AI 模型。
概述
模型提取攻擊讓攻擊者只需查詢其公共 API 並根據答案訓練模仿者即可克隆專有的 AI 模型。這很重要，因為公司花費了數百萬美元訓練模型，而這些模型的價格大約相當於數千次 API 呼叫的價格。
模型提取和竊取攻擊處於能力、權力和公共選擇的交叉點——安全、治理和合法性決定先進的人工智慧是否會大規模地帶來幫助或損害。
深入探討
模型提取（或模型竊取）攻擊將已部署的模型視為預言機。攻擊者發送輸入、記錄輸出並訓練替代模型來模仿該行為。由於目標模型本身是將輸入映射到輸出的學習函數，因此複製足夠的輸入輸出對可以重建近似值，而無需查看原始權重或訓練資料。研究人員竊取了影像分類器的決策邊界，甚至恢復了小層的精確權重。 2024 年，一個團隊展示了 OpenAI 和 Google 生產模型嵌入層的部分內容可以以不到幾百美元的價格提取。被盜的副本會削弱付費服務，繞過安全過濾器，並引發進一步的白盒攻擊，例如製作對抗性範例。
技術洞察
API 回應越豐富，盜竊的成本就越低。傳回完整的機率向量或 logits 每個查詢會比單一 top-1 標籤洩漏更多的信息，因此攻擊者可以用更少的查詢來重建邊界。主動學習策略在決策邊界附近選擇資訊最豐富的查詢。一個具有里程碑意義的結果表明，查詢輸出維度計數可以透過線性代數準確地恢復最終的線性投影層，因為該層實際上是響應跨度的矩陣。
掌握模型提取和竊取攻擊
為了加深理解，請將模型提取和竊取攻擊視為一種操作模型，而不是單一功能。定義期望的結果，澄清假設，並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。
在實踐中，使用模型提取和竊取攻擊的強大團隊將能力成長與治理、安全和明確的問責結構結合。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。同時，在能力複合的同時，將存在風險視為科幻小說。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
民眾和專業素養決定強而有力的安全政策在政治上是否可行。
民眾和專業素養決定強而有力的安全政策在政治上是否可行。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。
清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
一家新創公司查詢競爭對手的付費圖像識別 API 數千次，並訓練一個免費克隆來複製其準確性。
安全研究人員使用精心設計的 API 查詢來提取生產語言模型的最終嵌入投影層，成本僅為數百美元。
攻擊者在本地複製垃圾郵件或詐欺分類器，以便他們可以離線探測它並製作可靠地逃避偵測的輸入。
雲端供應商添加了查詢率監控，標記其存取模式與主動學習提取相符的帳戶並限制其回應。
實施模式
模型提取和竊取攻擊實踐
一家新創公司查詢競爭對手的付費圖像識別 API 數千次，並訓練一個免費克隆來複製其準確性。
當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
模型提取和竊取攻擊實踐
安全研究人員使用精心設計的 API 查詢來提取生產語言模型的最終嵌入投影層，成本僅為數百美元。
當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
模型提取和竊取攻擊實踐
攻擊者在本地複製垃圾郵件或詐欺分類器，以便他們可以離線探測它並製作可靠地逃避偵測的輸入。
當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
模型提取和竊取攻擊實踐
雲端供應商添加了查詢率監控，標記其存取模式與主動學習提取相符的帳戶並限制其回應。
當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
將存在風險視為科幻小說，同時能力複合。
混淆了表面產品安全與高度自治下的對準。
只給非英語和非專業觀眾留下低品質的資源。
實施路線圖
單獨的產品危害、誤用和失控/失調風險。
將此視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
詢問哪些證據會改變您對時間表和嚴重性的看法。
將此視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
比起行銷主張，更喜歡主要來源和具體評估。
將此視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
確定一條行動路徑：職業、政策、資金或技能——而不僅僅是意識。
將此視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
不斷探索
Check your understanding
Test yourself: take the Model Extraction and Stealing Attacks quiz