概述
Lookahead 用「慢」和「快」權重包裝任何基礎優化器,以獲得更穩定的進展,而 Lion(進化符號動量)是由 AI 程式搜尋發現的,並僅使用動量項的符號更新權重 - 使其內存輕且通常比 Adam 更快。
深入探討
張、Hinton 及其同事在 2019 年提出的 Lookahead,運行一個標準的「快速」優化器(如 Adam 或 SGD)k 個步驟,然後將一組單獨的「慢速」權重推向快速權重最終的位置的一小部分。這可以抑制振盪並降低對超參數的敏感度。 Lion 由 Google 於 2023 年發布,源自於優化器演算法的符號程式搜尋。它追蹤動量,但將符號函數應用於更新,因此每個參數都在累積梯度符號的方向上移動固定的步長。 Lion僅儲存動量緩衝區(Adam狀態的一半,保留兩個),使用較大的權重衰減和較小的學習率,並且在大型視覺和語言模型上匹配或擊敗了Adam,同時訓練速度更快、成本更低。
現實世界的實施
用 Lookahead 包裹 Adam,以穩定 Transformer 的訓練並減少超參數調整工作。
使用 Lion 訓練大型視覺模型(例如 ViT),優化器記憶體比 Adam 低。
使用 Lion 預訓練語言模型,以降低運算成本達到相當的準確性。
在強化學習代理中將 Lookahead 與 SGD 結合,以平滑吵雜的策略更新。
Lookahead 和 Lion 最佳化器的未來
Lion 已在多次大規模訓練中被採用,因為它可以減少優化器記憶體並加快收斂速度,而且它的發現展示了自動化的「AI-designing-AI」演算法搜尋是實際收益的真正來源。隨著模型大小不斷給 GPU 記憶體預算帶來壓力,預計會有更多基於搜尋的優化器、將 Lookahead 式慢速權重與基於符號的更新相結合的混合方案,以及對記憶體高效優化器的興趣日益濃厚。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 Lookahead 和 Lion 優化器?
Lookahead 和 Lion 是神經網路最佳化的兩個現代轉折。 Lookahead 用「慢」和「快」權重包裝任何基礎優化器,以獲得更穩定的進展,而 Lion(進化符號動量)是由 AI 程式搜尋發現的,並僅使用動量項的符號更新權重 - 使其內存輕且通常比 Adam 更快。
Lion 最佳化器權重更新中的定義運算步驟是什麼?
Lion 將符號函數應用於插值動量項,因此每個參數都在梯度符號方向上以均勻的步長移動。
Lookahead 如何建立其最佳化?
Lookahead 運行 k 個步驟的快速內部優化器,然後將慢速權重向快速權重移動一小部分並重置。
Lion 優化器最初是如何被發現的?
Lion (EvoLved Sign Momentum) 源自於一個程式搜尋過程,該過程演化並評估了候選優化器程式。
與 Adam 相比,Lion 的關鍵記憶體優勢是什麼?
Adam 追蹤第一時刻和第二時刻; Lion 僅保留單一動量緩衝區,將優化器狀態記憶體大致減半。
為什麼 Lion 通常需要比 Adam 更小的學習率?
由於sign函數固定了每個座標更新的幅度,有效步長較大,因此使用較小的學習率(和較大的權值衰減)。