ガイド連動クイズ · 中 レベル

ウォームアップとコサイン アニーリングのスケジュールに関するクイズ

ウォームアップの初期トレーニングの役割、コサイン減衰への移行、スケジュールの線形ランプとエンドポイントを読み取る方法をテストします。

関連するガイドパスウォームアップとコサインアニーリングのスケジュール
質問 1 の 8

トレーニング開始時のウォームアップ段階の主な目的は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. トレーニング開始時のウォームアップ段階の主な目的は何ですか?
    • 重みがランダムで勾配にノイズが多い場合に、初期のトレーニングを安定させるため
    • バッチサイズを徐々に増やすには
    • モデルの最下層をフリーズするには
    • 推論を高速化するためにモデルを圧縮するには
  2. コサインアニーリングはどの形状に従って学習率を減衰させますか?
    • まっすぐな対角線
    • 高く始まり、緩やかになり、ゼロ付近で平坦になるコサイン曲線
    • 固定エポックで低下するステップ関数
    • 指数関数的に上昇
  3. 初期段階では分散推定の信頼性が低いため、ウォームアップから特に恩恵を受けるオプティマイザーはどれですか?
    • 勢いのない普通の SGD
    • グリッド検索
    • アダムとその亜種
    • K 平均法
  4. コサインの公式で、T は何を表しますか?
    • サンプリング時のモデル温度
    • 使用されるGPUの数
    • トークナイザーの語彙サイズ
    • スケジュール内のトレーニング ステップの合計数
  5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
    • Cosine decay begins from the peak learning rate
    • All model weights are reset
    • The schedule switches to a constant zero rate
    • Momentum is removed from every optimizer
  6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
    • The full target rate
    • About half of the target rate
    • The learning rate is exactly zero
    • Twice the target rate
  7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
    • 1 つ
    • One-half
    • ゼロ
    • It becomes negative one
  8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
    • It guarantees a global minimum
    • It increases the model’s parameter count
    • It removes the need to check training loss
    • It lets the rate ease down so optimization can settle gradually