概述
它通常比經典動量收斂得更快、更穩定。
深入探討
經典動量計算目前位置的梯度,然後加入累積速度。 Nesterov 的見解源自於 Yurii Nesterov 1983 年關於加速凸優化的工作,即首先將動量步驟帶到前瞻點並評估那裡的梯度。這讓優化器可以預測動力的所在,並在超調之前進行修正,就像跑者看到前方的曲線並儘早而不是之後進行調整一樣。對於平滑凸問題,Nesterov 的方法在步數上實現了 1/k^2 量級的最佳收斂速度,這比普通梯度下降的 1/k 得到了明顯的改進。在深度學習中,它在大多數框架中作為一個簡單的選項提供,並且在相同係數下通常比標準動量產生更快、更少振盪的訓練。
現實世界的實施
在 PyTorch 或 TensorFlow SGD 中啟用 Nesterov=True 標誌,以實現更快、更流暢的訓練。
加速大規模邏輯迴歸等平滑凸問題的收斂。
在訓練接近極小值的深度網路時減少超調和振盪。
為 Nadam 優化器提供支持,為 Adam 添加 Nesterov 前瞻功能。
Nesterov 加速梯度的未來
Nesterov 動量是 PyTorch、TensorFlow 等優化器中的內建標誌,Adam (Nadam) 的 Nesterov 變體將前瞻性與自適應縮放混合在一起。它的加速理論繼續激發對動量方法、重啟方案以及加速為何有助於非凸深度網絡的分析的研究。對於追求更快、更穩定收斂的從業者來說,預計內斯特羅夫式的前瞻仍將是一種悄悄常見的預設設定。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄 Nesterov 加速梯度在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是 Nesterov 加速梯度?
Nesterov 加速梯度 (NAG) 是一種更聰明的動量形式,可以在計算梯度之前進行預判,從而對其進行修正。它通常比經典動量收斂得更快、更穩定。
與經典動量相比,內斯特羅夫加速梯度的定義想法是什麼?
Nesterov 首先應用動量步驟到達前瞻位置,然後計算那裡的梯度,給出預期修正。
Nesterov 的方法在平滑凸問題上可達到多少可證明的收斂速度?
Nesterov 的加速方法為平滑凸目標實現了最佳 1/k^2 速率,比梯度下降的 1/k 更快。
這種加速梯度法最初是誰提出的?
Yurii Nesterov 於 1983 年發表了用於凸優化的加速梯度法。
為什麼前瞻梯度有助於接近曲線最小值?
透過評估動量前進的梯度,內斯特羅夫可以比經典動量更早修正即將發生的超調。
在實務中,Nesterov 動量的計算成本與經典動量相比如何?
框架實現了重新排列的形式,因此 Nesterov 比普通動量增加了可以忽略不計的額外成本。