学習率のスケジューリング

Getting it right is often the single biggest lever for whether a model converges quickly and reaches high accuracy.

学習率は、オプティマイザーが更新ごとにどれだけ大きなステップを実行するかを制御します。高すぎるとトレーニングが発散します。低すぎると這ったり、引っかかったりします。スケジュールにより、時間の経過とともにこの値が調整されます。最近の一般的なレシピは、ウォームアップとその後の減衰です。ゼロ付近から開始し、最初の数百または数千のステップで増加し(非常に早い段階で、ノイズの多いグラデーションによって不安定なウェイトが爆発することはありません)、その後徐々に減少します。一般的な減衰形状には、ステップ減衰 (設定されたエポックで係数ずつ低下)、指数関数的減衰、およびゼロ近くまで滑らかに半コサイン曲線をたどるコサイン アニーリングが含まれます。線形ウォームアップを備えたコサイン スケジュールは現在、大規模な言語モデルのトレーニングの標準となっていますが、周期的および 1 サイクル ポリシーにより小規模なモデルのトレーニングを高速化できます。