テクニカルガイド
Lookahead と Lion オプティマイザー
Lookahead と Lion は、ニューラル ネットワークの最適化を現代風にアレンジしたものです。
このガイドを聴くAIによるナレーション · ~2 min
概要
Lookahead は、ベース オプティマイザーを「低速」および「高速」の重みでラップして、より安定した進行を実現します。一方、Lion (EvoLved Sign Momentum) は AI プログラムの検索によって発見され、モメンタム項の符号のみを使用して重みを更新します。これにより、メモリが軽くなり、多くの場合、Adam よりも高速になります。
ディープダイブ
2019 年に Zhang 氏、Hinton 氏らによって提案された Lookahead は、標準の「高速」オプティマイザ (Adam や SGD など) を k ステップ実行し、その後、別の「低速」重みセットを高速重みが最終的に到達する方向に微調整します。これにより振動が減衰し、ハイパーパラメータに対する感度が低下します。 2023 年に Google によって公開された Lion は、オプティマイザー アルゴリズムではなくシンボリック プログラム検索から生まれました。運動量を追跡しますが、符号関数を更新に適用するため、すべてのパラメータは累積された勾配符号の方向に固定ステップ サイズで移動します。 Lion は運動量バッファ (2 つを保持する Adam の状態の半分) のみを保存し、より大きな重み減衰とより小さな学習率を使用し、より速く、より安価にトレーニングしながら、大規模な視覚および言語モデルで Adam に匹敵するか、またはそれを上回りました。
現実世界の実装
Adam を Lookahead でラップして、トランスフォーマーのトレーニングを安定させ、ハイパーパラメーター調整の労力を軽減します。
Lion を使用して、Adam よりも少ないオプティマイザー メモリで大規模なビジョン モデル (ViT など) をトレーニングします。
Lion を使用して言語モデルを事前トレーニングし、コンピューティング コストを削減しながら同等の精度を実現します。
強化学習エージェントで先読みと SGD を組み合わせて、ノイズの多いポリシー更新をスムーズにします。
Lookahead と Lion Optimizer の将来
Lion は、オプティマイザーのメモリを削減し、収束を高速化できるため、いくつかの大規模なトレーニングの実行に採用されています。また、その発見により、自動化された「AI-設計-AI」アルゴリズム検索が実用的な利益の本当の源として示されています。より多くの検索由来のオプティマイザー、先読みスタイルの遅い重みと符号ベースの更新を組み合わせたハイブリッド スキーム、およびモデル サイズが GPU メモリ バジェットを圧迫し続けるにつれてメモリ効率の高いオプティマイザーへの関心が高まっていることが期待されます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
Lookahead および Lion Optimizer とは何ですか?
Lookahead と Lion は、ニューラル ネットワークの最適化を現代風にアレンジしたものです。 Lookahead は、ベース オプティマイザーを「低速」および「高速」の重みでラップして、より安定した進行を実現します。一方、Lion (EvoLved Sign Momentum) は AI プログラムの検索によって発見され、モメンタム項の符号のみを使用して重みを更新します。これにより、メモリが軽くなり、多くの場合、Adam よりも高速になります。
Lion オプティマイザーの重み更新における決定的な計算ステップは何ですか?
Lion は補間された運動量項に符号関数を適用するため、すべてのパラメータは勾配の符号方向に均一なステップで移動します。
Lookahead はどのように最適化を構成するのでしょうか?
Lookahead は、k ステップの高速内部オプティマイザーを実行し、その後、低速の重みを高速の重みに向かって少し移動してリセットします。
Lion オプティマイザーはどのようにして発見されたのですか?
Lion (EvoLved Sign Momentum) は、候補オプティマイザー プログラムを進化させて評価したプログラム検索手順から誕生しました。
Adam と比較して、Lion の主な記憶力の利点は何ですか?
アダムは最初の瞬間と二番目の瞬間の両方を追跡します。 Lion は 1 つのモメンタム バッファのみを保持し、オプティマイザの状態メモリをおよそ半分にします。
通常、Lion は Adam よりも低い学習率を必要とするのはなぜですか?
符号関数は各座標の更新の大きさを固定するため、効果的なステップが大きくなり、より小さい学習率 (およびより大きい重み減衰) が使用されます。