概述
資料中毒透過篡改訓練資料來破壞模型，而後門攻擊隱藏了一個秘密觸發器，使模型在命令下行為不當。它們很重要，因為模型越來越多地從攻擊者可以悄悄污染的抓取的眾包資料中學習。
資料中毒和後門攻擊屬於人工智慧的社會和治理層，其中政策、問責制和公眾信任會產生長期影響。
深入探討
中毒攻擊分為兩個主要目標。可用性攻擊旨在透過注入錯誤標記或損壞的範例來降低整體準確性。有針對性的後門攻擊更加隱密：此模型在正常輸入上表現完美，但每當出現隱藏觸發器（例如小像素補丁、特定短語或不可見浮水印）時，就會產生攻擊者選擇的輸出。 BadNets 的工作展示了一個停車標誌分類器，它將標有貼紙的標誌讀取為「速度限制」。現代系統之所以暴露，是因為它們是在網路規模的資料上進行訓練的。研究人員證明，購買一小部分資料集 URL 背後的過期網域可能會花費數百美元來毒害流行的圖像資料集。語言模型也可以透過有毒的微調資料或指令範例來設定後門。
技術洞察
乾淨標籤後門尤其危險：中毒的樣本保留正確的標籤，並且在人類審查者看來正常，但它們嵌入了模型學習與目標類別關聯的觸發功能。在推理時，呈現觸發器會翻轉預測，同時乾淨的準確性保持較高水平，因此標準驗證永遠不會捕獲它。防禦措施包括激活聚類、光譜特徵、觸發重建和資料來源檢查。
掌控數據中毒和後門攻擊
資料中毒透過篡改訓練資料來破壞模型，而後門攻擊隱藏了一個秘密觸發器，使模型在命令下行為不當。它們很重要，因為模型越來越多地從攻擊者可以悄悄污染的抓取的眾包資料中學習。資料中毒和後門攻擊屬於人工智慧的社會和治理層，其中政策、問責制和公眾信任會產生長期影響。為了建立深入的理解，請將資料中毒和後門攻擊視為一種操作模型，而不是單一功能：定義所需的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，使用資料中毒和後門攻擊的強大團隊將能力成長與治理、安全和明確的問責結構結合。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
社會決策決定了誰受益、誰承擔風險。同時，廣泛的主張可能比證據和負責任的監督傳播得更快。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
社會決策決定了誰受益、誰承擔風險。
社會決策決定了誰受益、誰承擔風險。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
公共機構、學校和企業都依賴明確的人工智慧治理。
公共機構、學校和企業都依賴明確的人工智慧治理。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
良好的政策設計可以在不阻礙有用創新的情況下提高安全性。
良好的政策設計可以在不阻礙有用創新的情況下提高安全性。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
當存在小貼紙觸發器時，自動駕駛汽車將停車標誌誤認為限速標誌的視覺模型
透過劫持託管部分圖像 URL 的過期域，以低廉的成本毒害公共圖像資料集
對程式碼完成模型進行後門處理，隱藏提示短語使其插入不安全的程式碼
破壞垃圾郵件過濾器的眾包培訓回饋，使特定的惡意電子郵件漏網
實施模式
實踐中的數據中毒和後門攻擊
當存在小貼紙觸發器時，自動駕駛汽車將停車標誌誤認為限速標誌的視覺模型。
當存在小貼紙觸發器時，自動駕駛汽車將停車標誌誤認為限速標誌的視覺模型當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤隨著時間的推移提高的生產力和錯誤成本時，通常會得到更好的結果。
實踐中的數據中毒和後門攻擊
透過劫持託管部分圖像 URL 的過期域，以低廉的成本毒害公共圖像資料集。
透過劫持託管一小部分圖像 URL 的過期域，以低廉的成本毒害公共圖像資料集 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
實踐中的數據中毒和後門攻擊
對程式碼完成模型進行後門處理，隱藏提示短語使其插入不安全的程式碼。
對程式碼完成模型進行後門處理，隱藏提示短語使其插入不安全的程式碼。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會得到更好的結果。
實踐中的數據中毒和後門攻擊
破壞垃圾郵件過濾器的眾包訓練回饋，使特定的惡意電子郵件漏網。
破壞垃圾郵件過濾器的眾包培訓回饋，使特定的惡意電子郵件溜過當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
廣泛的主張可能比證據和負責任的監督傳播得更快。
當損害發生時，治理薄弱可能會留下責任空白。
當准入、透明度和審查受到限制時，權力就會集中。
實施路線圖
確定受影響的利害關係人和最重要的危害。
確定受影響的利害關係人和最重要的危害。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
設定資料、模型和決策的透明度要求。
設定資料、模型和決策的透明度要求。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
為高風險系統添加獨立審查或紅隊測試。
為高風險系統添加獨立審查或紅隊測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
隨著功能和使用模式的發展更新策略和控制。
隨著功能和使用模式的發展更新策略和控制。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。