概述
它們很重要,因為它們將不透明的模型變成了可審核版權、調試和信任的模型。
深入探討
Influence functions come from robust statistics and were adapted to deep learning by Koh and Liang in 2017. The core question is counterfactual: how would the model's loss on a test point change if a particular training example were removed or up-weighted? Rather than actually retraining (which is hopelessly expensive), influence functions approximate that change using calculus. They compute the gradient of the loss for the training point and the test point, then connect them through the inverse Hessian of the loss, which captures the curvature of the model's parameter space. Under Koh and Liang’s standard upweighting-on-test-loss convention, I_up,loss measures how infinitesimally increasing a training point’s weight changes the loss on a chosen test point. A positive value means upweighting raises test loss (a harmful influence); a negative value means it lowers test loss (a helpful influence). Removing a point reverses the sign of the first-order estimated change. Other influence scores may target predictions or use a different sign convention, so define the quantity before interpreting its sign. The result is a ranked list of the most responsible training examples.
現實世界的實施
追蹤哪些受版權保護的書籍對語言模型產生的段落影響最大,以進行法律和許可分析
透過顯示錯誤標記的訓練圖像來調試錯誤分類,這些圖像將模型推向錯誤的答案
檢測對特定預測產生巨大影響的中毒或異常訓練範例
審核信用或招募模型,以顯示哪些歷史記錄推動了有爭議的決策
訓練資料歸因影響函數的未來
預計基於影響力的歸因將成為人工智慧問責的基礎設施。監管機構和法院在調查受版權保護的文字是否形成輸出時需要範例層級的出處,而開發人員將使用它來顯示標籤錯誤或有毒的資料。 TRAK 和梯度草圖等較便宜的近似方法正在將歸因推向即時,將其與遺忘相結合可以讓團隊在無需完全重新訓練的情況下消除文件的影響。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什么是训练数据归因的影响函数?
影響函數估計每個訓練範例對模型預測的影響程度,讓您可以將輸出追溯到導致該結果的資料。它們很重要,因為它們將不透明的模型變成了可審核版權、調試和信任的模型。
影響函數近似什麼反事實問題?
影響函數估計擾動訓練範例的權重對測試點損失的影響,近似留一法再訓練而不這樣做。
哪個數學物件使得大型模型的精確影響計算變得困難?
經典的影響力公式需要對所有參數進行 Hessian 矩陣求逆,這對於具有數十億參數的模型來說是不可行的。
誰在 2017 年的一篇著名論文中將影響函數應用於現代深度學習?
Pang Wei Koh 和 Percy Liang 於 2017 年發表的論文「透過影響函數來理解黑盒預測」將此技術引入深度學習。
根據 Koh 與 Liang 的標準 I_up,loss 約定,負值代表什麼?
對於 I_up,loss,負導數表示提升訓練樣本的權重會降低所選測試損失;移除該樣本則產生相反的一階效應。
Anthropic 使用哪一種近似值將影響函數擴展到大型語言模型?
Anthropic 的 2023 年研究使用 EK-FAC 來近似逆 Hessian,從而能夠對大型語言模型進行影響分析。