概述
模型提取攻擊讓攻擊者只需查詢其公共 API 並根據答案訓練模仿者即可克隆專有的 AI 模型。這很重要，因為公司花費了數百萬美元訓練模型，而這些模型的價格大約相當於數千次 API 呼叫的價格。
模型提取和竊取攻擊屬於人工智慧的社會和治理層，其中政策、問責制和公眾信任塑造長期影響。
深入探討
模型提取（或模型竊取）攻擊將已部署的模型視為預言機。攻擊者發送輸入、記錄輸出並訓練替代模型來模仿該行為。由於目標模型本身是將輸入映射到輸出的學習函數，因此複製足夠的輸入輸出對可以重建近似值，而無需查看原始權重或訓練資料。研究人員竊取了影像分類器的決策邊界，甚至恢復了小層的精確權重。 2024 年，一個團隊展示了 OpenAI 和 Google 生產模型嵌入層的部分內容可以以不到幾百美元的價格提取。被盜的副本會削弱付費服務，繞過安全過濾器，並引發進一步的白盒攻擊，例如製作對抗性範例。
技術洞察
API 回應越豐富，盜竊的成本就越低。傳回完整的機率向量或 logits 每個查詢會比單一 top-1 標籤洩漏更多的信息，因此攻擊者可以用更少的查詢來重建邊界。主動學習策略在決策邊界附近選擇資訊最豐富的查詢。一個具有里程碑意義的結果表明，查詢輸出維度計數可以透過線性代數準確地恢復最終的線性投影層，因為該層實際上是響應跨度的矩陣。
掌握模型提取和竊取攻擊
模型提取攻擊讓攻擊者只需查詢其公共 API 並根據答案訓練模仿者即可克隆專有的 AI 模型。這很重要，因為公司花費了數百萬美元訓練模型，而這些模型的價格大約相當於數千次 API 呼叫的價格。模型提取和竊取攻擊屬於人工智慧的社會和治理層，其中政策、問責制和公眾信任塑造長期影響。為了建立深入的理解，請將模型提取和竊取攻擊視為一種操作模型，而不是單一功能：定義所需的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，使用模型提取和竊取攻擊的強大團隊將能力成長與治理、安全和明確的問責結構結合。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
社會決策決定了誰受益、誰承擔風險。同時，廣泛的主張可能比證據和負責任的監督傳播得更快。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
社會決策決定了誰受益、誰承擔風險。
社會決策決定了誰受益、誰承擔風險。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
公共機構、學校和企業都依賴明確的人工智慧治理。
公共機構、學校和企業都依賴明確的人工智慧治理。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
良好的政策設計可以在不阻礙有用創新的情況下提高安全性。
良好的政策設計可以在不阻礙有用創新的情況下提高安全性。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
一家新創公司查詢競爭對手的付費圖像識別 API 數千次，並訓練一個免費克隆來複製其準確性。
安全研究人員使用精心設計的 API 查詢來提取生產語言模型的最終嵌入投影層，成本僅為數百美元。
攻擊者在本地複製垃圾郵件或詐欺分類器，以便他們可以離線探測它並製作可靠地逃避偵測的輸入。
雲端供應商添加了查詢率監控，標記其存取模式與主動學習提取相符的帳戶並限制其回應。
實施模式
模型提取和竊取攻擊實踐
一家新創公司查詢競爭對手的付費圖像識別 API 數千次，並訓練一個免費克隆來複製其準確性。
新創公司會查詢競爭對手的付費圖像識別 API 數千次，並訓練一個免費克隆來複製其準確性。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
模型提取和竊取攻擊實踐
安全研究人員使用精心設計的 API 查詢來提取生產語言模型的最終嵌入投影層，成本僅為數百美元。
安全研究人員使用精心設計的 API 查詢來提取生產語言模型的最終嵌入投影層，成本僅為數百美元。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
模型提取和竊取攻擊實踐
攻擊者在本地複製垃圾郵件或詐欺分類器，以便他們可以離線探測它並製作可靠地逃避偵測的輸入。
攻擊者在本地複製垃圾郵件或詐欺分類器，以便他們可以離線探測它並製作可靠地逃避偵測的輸入。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
模型提取和竊取攻擊實踐
雲端供應商添加了查詢率監控，標記其存取模式與主動學習提取相符的帳戶並限制其回應。
雲端供應商添加了查詢率監控，標記其存取模式與主動學習提取相符的帳戶，並限制其回應。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
風險與防護欄
廣泛的主張可能比證據和負責任的監督傳播得更快。
當損害發生時，治理薄弱可能會留下責任空白。
當准入、透明度和審查受到限制時，權力就會集中。
實施路線圖
確定受影響的利害關係人和最重要的危害。
確定受影響的利害關係人和最重要的危害。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
設定資料、模型和決策的透明度要求。
設定資料、模型和決策的透明度要求。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
為高風險系統添加獨立審查或紅隊測試。
為高風險系統添加獨立審查或紅隊測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
隨著功能和使用模式的發展更新策略和控制。
隨著功能和使用模式的發展更新策略和控制。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。