技術指南

Lookahead 和 Lion 最佳化器

Lookahead 和 Lion 是神經網路最佳化的兩個現代轉折。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. Lookahead 和 Lion 最佳化器的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

Lookahead 用「慢」和「快」權重包裝任何基礎優化器,以獲得更穩定的進展,而 Lion(進化符號動量)是由 AI 程式搜尋發現的,並僅使用動量項的符號更新權重 - 使其內存輕且通常比 Adam 更快。

深入探討

張、Hinton 及其同事在 2019 年提出的 Lookahead,運行一個標準的「快速」優化器(如 Adam 或 SGD)k 個步驟,然後將一組單獨的「慢速」權重推向快速權重最終的位置的一小部分。這可以抑制振盪並降低對超參數的敏感度。 Lion 由 Google 於 2023 年發布,源自於優化器演算法的符號程式搜尋。它追蹤動量,但將符號函數應用於更新,因此每個參數都在累積梯度符號的方向上移動固定的步長。 Lion僅儲存動量緩衝區(Adam狀態的一半,保留兩個),使用較大的權重衰減和較小的學習率,並且在大型視覺和語言模型上匹配或擊敗了Adam,同時訓練速度更快、成本更低。

現實世界的實施

用 Lookahead 包裹 Adam,以穩定 Transformer 的訓練並減少超參數調整工作。

使用 Lion 訓練大型視覺模型(例如 ViT),優化器記憶體比 Adam 低。

使用 Lion 預訓練語言模型,以降低運算成本達到相當的準確性。

在強化學習代理中將 Lookahead 與 SGD 結合,以平滑吵雜的策略更新。

Lookahead 和 Lion 最佳化器的未來

Lion 已在多次大規模訓練中被採用,因為它可以減少優化器記憶體並加快收斂速度,而且它的發現展示了自動化的「AI-designing-AI」演算法搜尋是實際收益的真正來源。隨著模型大小不斷給 GPU 記憶體預算帶來壓力,預計會有更多基於搜尋的優化器、將 Lookahead 式慢速權重與基於符號的更新相結合的混合方案,以及對記憶體高效優化器的興趣日益濃厚。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Lookahead 與 Lion 優化器測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 Lookahead 和 Lion 優化器?

Lookahead 和 Lion 是神經網路最佳化的兩個現代轉折。 Lookahead 用「慢」和「快」權重包裝任何基礎優化器,以獲得更穩定的進展,而 Lion(進化符號動量)是由 AI 程式搜尋發現的,並僅使用動量項的符號更新權重 - 使其內存輕且通常比 Adam 更快。

Lion 最佳化器權重更新中的定義運算步驟是什麼?

Lion 將符號函數應用於插值動量項,因此每個參數都在梯度符號方向上以均勻的步長移動。

Lookahead 如何建立其最佳化?

Lookahead 運行 k 個步驟的快速內部優化器,然後將慢速權重向快速權重移動一小部分並重置。

Lion 優化器最初是如何被發現的?

Lion (EvoLved Sign Momentum) 源自於一個程式搜尋過程,該過程演化並評估了候選優化器程式。

與 Adam 相比,Lion 的關鍵記憶體優勢是什麼?

Adam 追蹤第一時刻和第二時刻; Lion 僅保留單一動量緩衝區,將優化器狀態記憶體大致減半。

為什麼 Lion 通常需要比 Adam 更小的學習率?

由於sign函數固定了每個座標更新的幅度,有效步長較大,因此使用較小的學習率(和較大的權值衰減)。