引導式測驗 · 中等 等級

學習率安排測驗

檢查熱身、餘弦和步驟計劃、重新啟動行為、早期不穩定以及常見的熱身-然後衰減訓練配方。

相關引導路徑學習率調度
問題 1 的 8

學習率計畫中「預熱」階段的目的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 學習率計畫中「預熱」階段的目的是什麼?
    • 以較小的速率開始並逐步增加,避免早期噪音梯度帶來的不穩定
    • 使最終的準確率降低
    • 跳過前幾批數據
    • 在開始時凍結所有權重
  2. 哪一個時程平滑地遵循半餘弦曲線下降到最低速率?
    • 固定的時間表
    • 餘弦退火
    • 隨機時間表
    • 線性增加
  3. 如果學習率設定得太高會發生什麼事?
    • 訓練立即以完美的準確性收斂
    • 模型訓練速度較慢,但總是成功
    • 損失可能會發散或振盪而不是減少
    • 一切都沒有改變;速率沒有影響
  4. 步長衰減對學習率有何影響?
    • 每批次線性增加
    • 保持完美恆定
    • 每一步隨機設定
    • 在預定義的時期將其下降固定因子
  5. 暖重啟對學習率排程有何影響?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • 模型層數
    • 批量大小
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate