蘋果論文提出透過跳過低影響力數據來降低機器學習成本

發生了什麼事

Apple 機器學習研究發布了一篇論文，列在其隱私、資料科學和註釋領域下，提出機器取消學習會跳過訓練點，這些訓練點對模型輸出的測量影響可以忽略不計，作者報告稱，在他們的示例中，取消學習計算量最多可減少 50% 左右。

蘋果機器學習研究中心發表了一篇題為「當不學習是免費的：利用低影響點來降低計算成本」的論文，作者為 Udi Wieder、Vitaly Feldman、Robert Fisher 和 Anat Kleiman。出版頁面將這項工作歸檔在兩個研究領域：隱私、資料科學和註釋，並將其標記為論文。這個主題是機器去學習：從已經訓練過的模型中消除特定訓練範例的影響的問題，通常是因為一個人要求刪除他們的資料或因為隱私義務需要這樣做。該頁面指出，克萊曼隸屬於哈佛大學，這項工作是在蘋果公司期間完成的。

正如蘋果網站上的摘要所總結的那樣，該論文的論點是，現有的遺忘方法將「遺忘集」（要刪除的範例的集合）中的每個點都視為同等重要，並且這種假設是浪費的。作者表示，他們比較了語言和視覺任務的影響功能。影響函數是一種成熟的技術，用於估計單一訓練範例對模型參數或預測的變化程度。在比較的基礎上，作者報告確定了對模型輸出的影響可以忽略不計的訓練資料子集，並且他們提出了一個框架，可以在運行取消學習過程之前縮小資料集。

標題數字是該論文自己的：「在現實世界的經驗示例中顯著節省了計算量（高達約 50%）。」該聲明以及可以可靠地識別影響可忽略不計的子集的聲明來自作者，如蘋果頁面上所總結的那樣。它們在這裡沒有被獨立驗證。摘要沒有命名所使用的模型、資料集或基線遺忘演算法；它沒有說明如何定義或閾值「可忽略」的影響；而且它沒有描述用於判斷遺忘是否成功的指標。標題中的「免費」一詞指的是計算成本，而不是任何有關隱私保證的主張。

消息來源根本不知道幾個細節。該頁面的出版月份為 2026 年 8 月，同一頁面上具有相同標題的相關閱讀條目的日期為 2026 年 7 月 17 日；該頁面沒有解釋這兩個日期。頁面上沒有明顯的同行評審地點或會議接受的跡象，沒有發布代碼、模型權重或評估工件的鏈接，也沒有關於蘋果是否在任何運輸產品或內部數據管道中使用這種方法的聲明。摘要也沒有先解決估計影響力的計算成本，對於大型模型來說，這本身就是一筆巨大的開支，並且需要將其計入任何報告的節省中。

來源詳情: machinelearning.apple.com ↗

為什麼這很重要

在經過訓練的模型上滿足資料刪除請求的成本很高，並且該論文將統一的每點成本的遺忘重新構建為分類問題 - 但基於效果的分類是一個效率論點，而不是既定的法律或安全保證。

資料刪除已成為營運工程問題，而不是純粹的法律問題。當使用者撤回同意或行使刪除權時，從資料庫中刪除行很簡單；刪除經過訓練的模型從這些行中吸收不到的內容。可靠的選擇是在沒有數據的情況下進行再培訓，這種方法的成本很高，以至於組織傾向於將其分批放入定期的再培訓週期中。近似忘卻方法有望更快實現某些目標，但它們更難驗證。降低操作成本的工作直接關係到刪除請求是否能夠定期、及時地滿足，或者它們是否排隊等待下一次訓練運行。

本文中的概念轉變可以說比效率數字更重要。如果一個特定的例子明顯在模型的行為中沒有留下可測量的痕跡，那麼對該例子可能沒有什麼可撤銷的。這將從統一的每點成本中忘記學習轉變為分類練習：首先進行測量，然後僅在可以改變模型行為的地方進行計算。對於處理大量刪除請求的團隊來說，隨著實際重要資料量的變化而變化的可變成本與隨著到達的請求數量而變化的固定成本是不同的規劃問題。

重要的限制是隱私義務通常是圍繞著請求制定的，而不是圍繞測量的效果而製定的。監管者或受影響的人可能不會接受「模型幾乎沒有學到它」作為已滿足刪除義務的證據，特別是因為影響估計是近似值，其準確性已知隨模型、訓練程序和所使用的近似方法而變化。這篇論文根據其摘要的證據，將其貢獻定義為計算節省；它並不聲稱跳過低影響點滿足任何特定法律，並且此報道不應被理解為是這樣說的。

摘要也提出了一個安全維度。如果一個點被錯誤地分類為低影響力並保留在原地，那麼實際的問題是該點是否仍然可以恢復——通過隸屬推理（測試特定記錄是否在訓練集中），或者通過直接提取記憶的文本。眾所周知，大型模型中的記憶是不均勻的，稀有或異常記錄往往比典型記錄更容易暴露，而這正是影響估計最有可能不確定的群體。摘要沒有報告作者是否評估了他們的框架對此類攻擊的抵抗力，因此從該來源無法得知其對這些攻擊的抵抗力。

接下來看什麼

全文是否報告了 50% 數字背後的模型、資料集、閾值和隱私攻擊評估，計算影響力本身的成本是否被扣除，以及監管機構或其他實驗室是否接受或質疑可以保留低影響力點的想法。

首先要尋找的是摘要背後的全文。關鍵問題包括使用哪些模型和資料集、衡量節省的基線遺忘方法、選擇哪種影響函數近似、如何設定「可忽略」影響的閾值，以及高達 50% 的數字是否反映了測試範例中的典型案例或最佳案例。該工作是否已被同儕審查場所接受，以及程式碼或評估工件是否發布，將決定其他人檢查結果的速度。

其次，觀察如何衡量遺忘品質。輸出相似性指標（表明模型的行為就好像它從未見過數據一樣）比使用成員推理或提取攻擊的對抗性評估更弱的證據。同樣值得關注的是會計：報告的節省是否扣除了計算影響力估計的成本，以及該成本如何隨著模型和遺忘集的增長而擴展。一種可以節省一半的未學習計算量但需要昂貴的影響傳遞的方法在前沿規模上可能看起來與較小的示例有所不同。

三是看監管接待情況。基於效果的分類引發了資料保護當局尚未在公共指導中解決的一個問題：控制者是否可以以記錄的貢獻微乎其微為由拒絕修改模型。任何解決經過訓練的模型的擦除義務的指導、執行行動或標準工作都將決定這種方法是否可用於合規工作流程或仍然是一種內部效率技術。

最後，觀看採納和反駁。不同架構和資料分佈上的獨立複製將確定低影響子集是否是常見且可識別的，或特定設定的產物。試著打破這種方法——建構一個點看起來影響力低但仍然可提取的案例——同樣會提供豐富的資訊。目前尚不清楚蘋果是否打算在生產中使用它；出版頁面沒有做出這樣的聲明，也不應該假設沒有這樣的聲明。

相關指引和測驗