Lookahead と Lion Optimizer のクイズ

クイズに答えると、答えと解説が表示されます。

1. Lion オプティマイザーの重み更新における決定的な計算ステップは何ですか?
   • 勢いに基づく用語の符号を取る
   • 勾配を二乗移動平均で割ります。
   • 2 次ヘシアン近似の計算
   • 複数のチェックポイントにわたる重みの平均化
2. Lookahead はどのように最適化を構成するのでしょうか?
   • ステップごとに 2 回更新される単一の重みセットを使用します。
   • 基本オプティマイザーによって更新される「高速」重みと、それらに向けて定期的に補間される「低速」重みを維持します。
   • メモリを節約するために勢いを完全に取り除きます
   • 2 つのネットワークをトレーニングし、その出力を平均します。
3. Lion オプティマイザーはどのようにして発見されたのですか?
   • 凸最適化理論から手動で導出することで
   • SGD と Adam の更新を平均することによって
   • オプティマイザーアルゴリズムによる自動化されたシンボリックプログラム検索による
   • 粒子運動の物理シミュレーションから
4. Adam と比較して、Lion の主な記憶力の利点は何ですか?
   • 状態をまったく保存しません
   • 半精度重みを自動的に使用します
   • すべてのレイヤーで状態を共有します
   • アダムの 2 つの状態テンソルの代わりに 1 つの運動量バッファーのみを保持します。
5. 通常、Lion は Adam よりも低い学習率を必要とするのはなぜですか?
   • 符号演算によりすべての更新の大きさが均一になるため、ステップが効果的にスケーリングされます。
   • 勢いを使わないので
   • より大きなバッチを処理するため
   • 体重減少を無効にするため
6. Lookahead の実際的な利点は、トレーニングを行う傾向があることです。
   • ハイパーパラメータの選択に対する感度が高くなります
   • 振動を低減し、より安定かつ堅牢に
   • ステップあたりの速度が 10 倍遅くなる
   • Adam または SGD と互換性がありません
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop