Lookahead 和 Lion 最佳化器
Lookahead 和 Lion 是神經網路最佳化的兩個現代轉折。
概述
Lookahead wraps any base optimizer with 'slow' and 'fast' weights for more stable progress, while Lion (EvoLved Sign Momentum) was discovered by an AI program search and updates weights using only the sign of a momentum term — making it memory-light and often faster than Adam.
深入探討
張、Hinton 及其同事在 2019 年提出的 Lookahead，運行一個標準的「快速」優化器（如 Adam 或 SGD）k 個步驟，然後將一組單獨的「慢速」權重推向快速權重最終的位置的一小部分。這可以抑制振盪並降低對超參數的敏感度。 Lion 由 Google 於 2023 年發布，源自於優化器演算法的符號程式搜尋。它追蹤動量，但將符號函數應用於更新，因此每個參數都在累積梯度符號的方向上移動固定的步長。 Lion僅儲存動量緩衝區（Adam狀態的一半，保留兩個），使用較大的權重衰減和較小的學習率，並且在大型視覺和語言模型上匹配或擊敗了Adam，同時訓練速度更快、成本更低。
技術洞察
前瞻更新：在 k 個快速步驟產生權重 θ_fast 後，慢速權重按 φ ← φ + α(θ_fast − φ) 移動，然後快速最佳化器重設為 φ。 Lion更新：用於插值的m ← β1·m + (1−β1)·g，但權重步長為θ ← θ − η·(sign(β2·m + (1−β2)·g) + λθ)。符號運算使每個座標的更新幅度一致，這就像隱式歸一化，並解釋了為什麼 Lion 需要比 Adam 小得多的學習率。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
Lookahead 和 Lion 最佳化器的未來
Lion 已在多次大規模訓練中被採用，因為它可以減少優化器記憶體並加快收斂速度，而且它的發現展示了自動化的「AI-designing-AI」演算法搜尋是實際收益的真正來源。隨著模型大小不斷給 GPU 記憶體預算帶來壓力，預計會有更多基於搜尋的優化器、將 Lookahead 式慢速權重與基於符號的更新相結合的混合方案，以及對記憶體高效優化器的興趣日益濃厚。
現實世界的實施
用 Lookahead 包裹 Adam，以穩定 Transformer 的訓練並減少超參數調整工作。
使用 Lion 訓練大型視覺模型（例如 ViT），優化器記憶體比 Adam 低。
使用 Lion 預訓練語言模型，以降低運算成本達到相當的準確性。
在強化學習代理中將 Lookahead 與 SGD 結合，以平滑吵雜的策略更新。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lookahead and Lion Optimizers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Lookahead and Lion Optimizers?
Lookahead 和 Lion 是神經網路最佳化的兩個現代轉折。 Lookahead 用「慢」和「快」權重包裝任何基礎優化器，以獲得更穩定的進展，而 Lion（進化符號動量）是由 AI 程式搜尋發現的，並僅使用動量項的符號更新權重 - 使其內存輕且通常比 Adam 更快。
Lion 最佳化器權重更新中的定義運算步驟是什麼？
Lion 將符號函數應用於插值動量項，因此每個參數都在梯度符號方向上以均勻的步長移動。
Lookahead 如何建立其最佳化？
Lookahead 運行 k 個步驟的快速內部優化器，然後將慢速權重向快速權重移動一小部分並重置。
Lion 優化器最初是如何被發現的？
Lion (EvoLved Sign Momentum) 源自於一個程式搜尋過程，該過程演化並評估了候選優化器程式。
與 Adam 相比，Lion 的關鍵記憶體優勢是什麼？
Adam 追蹤第一時刻和第二時刻； Lion 僅保留單一動量緩衝區，將優化器狀態記憶體大致減半。
為什麼 Lion 通常需要比 Adam 更小的學習率？
由於sign函數固定了每個座標更新的幅度，有效步長較大，因此使用較小的學習率（和較大的權值衰減）。