概述
It reduces overfitting and is one of the most widely used regularizers in deep learning.
深入探討
當模型訓練時,它可以透過增加大的、經過微調的權重來捕捉資料中的噪聲,這些權重完美地適合訓練集,但泛化能力很差。 L2 正則化透過將損失函數加上與權重平方和成比例的懲罰來解決這個問題。優化器現在有兩個目標:擬合資料並保持較小的權重,因此它會選擇更平滑、更穩健的解決方案。權重衰減是與每個更新步驟將每個權重縮小一小部分密切相關的想法。對於普通梯度下降,兩者在數學上是等效的,但對於像 Adam 這樣的自適應優化器,它們是不同的,這就是為什麼引入 AdamW 來將衰減與基於梯度的更新解耦並使其表現正確。
現實世界的實施
在訓練影像分類器時在 PyTorch 的 AdamW 或 SGD 優化器中加入weight_decay以抑制過度擬合
調整嶺迴歸(經典的 L2 懲罰線性模型)中的 lambda 係數,以穩定相關特徵的預測
大型語言模型預訓練方案,在學習率計畫的同時設定較小的權重衰減(通常約為 0.1)
將權重衰減與資料增強和丟棄相結合,以防止小型醫學成像模型記住有限的訓練掃描
權重衰減和 L2 正則化的未來
權重衰減仍然是大型語言模型和視覺轉換器訓練配方中的預設成分,而 AdamW 現在是它們的標準優化器。研究仍在繼續研究衰減如何與學習率計劃、標準化層和模型規模相互作用,因為它的有效強度隨著模型的增長而變化。隨著自動超參數搜尋和縮放定律研究的成熟,預計會有更多原則性的、可能是每層或調度感知的衰減調整。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄權重衰減和 L2 正則化在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
What is Weight Decay and L2 Regularization?
權重衰減是一種簡單而強大的技術,可以在訓練過程中將模型的權重推向零,防止模型過度依賴任何單一特徵。它減少了過度擬合,是深度學習中使用最廣泛的正則化器之一。
L2 正規化為損失函數增加了什麼?
L2 正則化增加了 lambda 乘以權重平方和,懲罰大權重並鼓勵更小、更平滑的解決方案。
重量衰減有助於防止的主要問題是什麼?
透過保持較小的權重,權重衰減會阻止模型擬合噪聲,從而提高對新資料的泛化能力。
權重衰減將模型的權重推向哪個方向?
權重衰減在每次更新時將權重縮小到零,這就是為什麼它有時被描述為「衰減」權重。
為什麼要引進 AdamW?
在 Adam 中,將 L2 折疊到損失中會與每個參數縮放產生嚴重的相互作用; AdamW 單獨應用衰減以恢復預期的均勻收縮。
對於普通隨機梯度下降,L2 正則化和權重衰減有何關係?
使用普通 SGD,在損失中加入 L2 懲罰會產生與直接縮小權重相同的更新,因此兩者是等效的。