学習率のスケジュールに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 学習率スケジュールにおける「ウォームアップ」フェーズの目的は何ですか?
   • 小さなレートから始めて徐々に増加させ、初期のノイズの多い勾配による不安定性を回避します。
   • 最終的な精度を下げるには
   • データの最初の数バッチをスキップするには
   • 開始時にすべてのウェイトをフリーズするには
2. 最小レートに向かって滑らかに下降する半コサイン曲線をたどるスケジュールはどれですか?
   • 一定のスケジュール
   • コサインアニーリング
   • ランダムスケジュール
   • 線形増加
3. 学習率の設定が高すぎるとどうなりますか?
   • トレーニングは完璧な精度で瞬時に収束します
   • モデルのトレーニングは遅くなりますが、常に成功します
   • 損失は減少する代わりに発散または振動する可能性があります
   • 何も変わりません。レートは影響しません
4. ステップ減衰は学習率にどう影響しますか?
   • バッチごとに直線的に増加します
   • 完全に一定に保ちます
   • ステップごとにランダムに設定します
   • 事前定義されたエポックで固定係数でドロップします
5. What does a warm restart do to a learning-rate schedule?
   • It raises the learning rate again to begin another schedule cycle
   • It resets the model parameters to random values
   • It permanently fixes the learning rate at zero
   • It deletes the optimizer’s moment estimates
6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
   • It removed the need for a validation set
   • It eased early optimization difficulties after the learning-rate scale increased with batch size
   • It changed the model architecture after each epoch
   • It converted the learning-rate curve into a cosine wave
7. In the cosine formula, what does T denote?
   • The number of model layers
   • バッチサイズ
   • The schedule horizon or total number of steps used for the decay
   • The optimizer’s momentum coefficient
8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
   • Exactly zero regardless of lr_min
   • The original warmup starting rate
   • An unbounded value
   • The specified minimum learning rate