基本ガイド
勢いのある確率的勾配降下法
モメンタムは、過去の勾配の移動平均を蓄積する勾配降下法に対する微調整であり、最適化が谷間をより速く進み、振動を抑制します。
このガイドを聴くAIによるナレーション · ~2 min
概要
It is one of the most widely used training tricks in deep learning.
ディープダイブ
単純な確率的勾配降下法 (SGD) は、現在のミニバッチ勾配とは反対の方向にステップ実行することでパラメーターを更新します。細長い渓谷のような風景の中で、なだらかな床を這いながら、険しい壁をジグザグに横切っていきます。 Polyak によって普及し、その後 Rumelhart らによって普及された Momentum は、速度ベクトルを維持することでこの問題を解決します。各ステップでは、新しい勾配と以前の速度の一部 (運動量係数、多くの場合 0.9) がブレンドされます。一貫した勾配方向が強化および加速する一方で、振動成分が部分的に相殺されます。物理的には、下り坂を転がる重いボールに例えられます。安定した方向に速度が増し、ノイズの多いバンプによる逸れが少なく、通常の SGD よりも高速でスムーズな収束が得られます。
現実世界の実装
ResNet のような深い畳み込みネットワークのトレーニングでは、運動量 0.9 の SGD が標準レシピです。
小さなミニバッチを使用する場合のノイズの多い勾配推定を平滑化します。
平坦な領域を通過する速度を伝達することで、浅い局所的なプラトーを回避します。
Adam や RMSprop バリアントなどの適応オプティマイザ内でモメンタム項として機能します。
勢いのある確率的勾配降下の未来
モメンタムは依然として基礎的なものです。Adam やそのバリアントのような適応オプティマイザには、モメンタム スタイルの最初の瞬間推定が組み込まれており、モメンタムを使用した SGD は依然として強力なベースラインであり、多くの場合、大規模なビジョン モデルでは適応手法よりも優れた一般化を実現します。運動量のスケジューリング、分離された重み減衰、および非常に大規模なバッチ トレーニングとの相互作用に関する研究が続けられています。オプティマイザーがますます大規模なモデルに合わせて進化するにつれて、モメンタムはコア コンポーネントであり続けることが予想されます。
実践する
なぜそれが重要なのか
- より明確な判決. これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
- 費用と予算. お金や時間を費やす前に、実装に関するより良い質問をすることができます。
- チームとワークフロー. 共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
気をつけてください
- チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
- ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
- データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
次のステップ
- 必要な結果を平易な言葉で定義することから始めます。
- テストする前に、成功指標と失敗条件を 1 つ選択します。
- 洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
- モメンタムを使用した確率的勾配降下法が役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
よくある質問
What is Stochastic Gradient Descent with Momentum?
モメンタムは、過去の勾配の移動平均を蓄積する勾配降下法に対する微調整であり、最適化が谷間をより速く進み、振動を抑制します。これは、ディープラーニングで最も広く使用されているトレーニング手法の 1 つです。
トレーニング中に運動量項は何を蓄積しますか?
Momentum は、最近の勾配の指数関数的に重み付けされた移動平均である速度ベクトルを維持し、更新方向を平滑化します。
長くて狭い峡谷の中で、普通の SGD が苦しんでいる問題のうち、勢いがあれば解決できるものは何でしょうか?
勢いがなければ、SGD は渓谷の急な方向に沿って振動します。運動量はこれらの振動を打ち消し、緩やかな谷底に沿って加速します。
運動量を説明するために最もよく使用される物理的な例えはどれですか?
運動量は、一定の方向にスピードを上げ、騒音のあるバンプによるたわみに抵抗する重いボールに例えられます。
ベータ = 0.9 の場合、運動量は一貫した方向の効果的なステップをおよそどのくらい増幅しますか?
増幅率は約 1/(1 - ベータ) および 1/(1 - 0.9) = 10 であるため、一貫した方向は約 10 倍高速化されます。
モメンタム スタイルの最初の瞬間推定を組み込んでいる最新のオプティマイザーはどれですか?
Adam は、適応スケーリングのために、勢いに似た勾配の第 1 モーメント (平均) 推定値と第 2 モーメント (分散) 推定値を組み合わせます。