引導式測驗 · 中等 等級
學習率安排測驗
檢查熱身、餘弦和步驟計劃、重新啟動行為、早期不穩定以及常見的熱身-然後衰減訓練配方。
問題 1 的 8
學習率計畫中「預熱」階段的目的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 學習率計畫中「預熱」階段的目的是什麼?
- 以較小的速率開始並逐步增加,避免早期噪音梯度帶來的不穩定
- 使最終的準確率降低
- 跳過前幾批數據
- 在開始時凍結所有權重
- 哪一個時程平滑地遵循半餘弦曲線下降到最低速率?
- 固定的時間表
- 餘弦退火
- 隨機時間表
- 線性增加
- 如果學習率設定得太高會發生什麼事?
- 訓練立即以完美的準確性收斂
- 模型訓練速度較慢,但總是成功
- 損失可能會發散或振盪而不是減少
- 一切都沒有改變;速率沒有影響
- 步長衰減對學習率有何影響?
- 每批次線性增加
- 保持完美恆定
- 每一步隨機設定
- 在預定義的時期將其下降固定因子
- 暖重啟對學習率排程有何影響?
- It raises the learning rate again to begin another schedule cycle
- It resets the model parameters to random values
- It permanently fixes the learning rate at zero
- It deletes the optimizer’s moment estimates
- In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
- It removed the need for a validation set
- It eased early optimization difficulties after the learning-rate scale increased with batch size
- It changed the model architecture after each epoch
- It converted the learning-rate curve into a cosine wave
- In the cosine formula, what does T denote?
- 模型層數
- 批量大小
- The schedule horizon or total number of steps used for the decay
- The optimizer’s momentum coefficient
- If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
- Exactly zero regardless of lr_min
- The original warmup starting rate
- An unbounded value
- The specified minimum learning rate