概述
It can converge in dramatically fewer iterations than plain gradient descent, but the cost of computing curvature makes it tricky to scale.
深入探討
梯度下降只知道當前點的斜率,因此它會選擇固定或手動調整的步長,並希望獲得最佳的結果。牛頓方法更進一步:它還研究斜率如何變化(曲率),由所有二階偏導數的矩陣 Hessian 捕獲。更新將逆 Hessian 矩陣乘以梯度,這會自動重新縮放每個方向並接近局部二次近似的最小值。對於完美的二次碗,牛頓法只需一步即可到達底部。問題很殘酷:具有 N 個參數的模型具有 N×N Hessian,因此儲存和反轉它大約需要 N 平方記憶體和 N 立方計算。對於十億參數的網路來說這是不可能的,這就是為什麼從業者使用更便宜的近似值。
現實世界的實施
L-BFGS 在 scikit-learn 中擬合邏輯回歸和其他凸模型,它通常在中小型資料集上擊敗普通梯度下降
3D 重建和 SLAM 中的捆綁調整,其中 Gauss-Newton 和 Levenberg-Marquardt 細化相機姿態和點位置
訓練微小的物理資訊神經網絡,其中 L-BFGS 達到 Adam 難以達到的精確度
Shampoo 和 K-FAC 透過近似 Hessian 結構加速大規模深度學習訓練
二階優化和牛頓法的未來
對於巨型神經網絡,完整的二階方法仍然不切實際,但近似方法正在取得進展。 K-FAC 和 Shampoo 等優化器使用塊對角線或 Kronecker 分解結構來近似曲率,而 Sophia 和 Muon 等較新的方法使用廉價的曲率估計來加速大型語言模型預訓練。預計將繼續努力以接近一階的成本捕獲有用的曲率訊號,從而縮小亞當步和真正的牛頓步之間的差距。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
What is Second-Order Optimization and Newton Methods?
二階最佳化使用曲率資訊(二階導數的 Hessian 矩陣)來採取更聰明的步驟來達到最小值,而不僅僅是斜率。與普通梯度下降相比,它可以以少得多的迭代次數收斂,但計算曲率的成本使其難以擴展。
牛頓法使用了哪些資訊而普通梯度下降法沒有使用?
牛頓方法利用 Hessian 矩陣的曲率來增強梯度,使其重新調整方向並逼近局部二次極小值。
對於完美二次目標,牛頓法需要多少步驟才能達到最小值?
在精確二次方程式上,局部二次模型等於真實函數,因此牛頓步會直接跳到最小值。
為什麼完整的牛頓法對於十億參數的神經網路不切實際?
對於 N 個參數,Hessian 矩陣具有 N 平方項,並且反轉它的比例類似於 N 立方,這在數十億個參數下是不可行的。
像 BFGS 這樣的擬牛頓方法如何避免 Hessian 成本?
BFGS 使用步驟之間梯度的變化迭代來更新逆 Hessian 矩陣的估計,避免直接計算。
與BFGS相比,L-BFGS如何減少記憶體?
「L」代表有限記憶體:L-BFGS 僅保留少量最近的向量,將儲存空間從 N 平方減少到大約 N 的一小部分。