引導式測驗 · 中等 等級

預熱和餘弦退火時間表測驗

測試熱身的早期訓練作用、向餘弦衰減的過渡以及如何讀取時間表的線性斜坡和終點。

問題 1 的 8

訓練開始時熱身階段的主要目的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 訓練開始時熱身階段的主要目的是什麼?
    • 當權重隨機且梯度有噪音時穩定早期訓練
    • 逐漸增加批量大小
    • 凍結模型的底層
    • 壓縮模型以加快推理速度
  2. 餘弦退火會依照哪一種形狀衰減學習率?
    • 一條直線對角線
    • 餘弦曲線從高處開始,逐漸緩和並在接近零時變平
    • 在固定時期下降的階躍函數
    • 呈指數級上升
  3. 哪個優化器特別受益於預熱,因為它的變異數估計在早期不可靠?
    • 沒有動力的普通 SGD
    • 網格搜尋
    • Adam 及其變體
    • K-均值
  4. 餘弦公式中,T代表什麼?
    • 模型採樣溫度
    • 使用的 GPU 數量
    • 分詞器詞彙量大小
    • 計劃中的訓練步驟總數
  5. 在指南的暖身加餘弦時間表中,熱身達到目標速率後會開始什麼?
    • 餘弦衰減從峰值學習率開始
    • 所有模型權重已重置
    • 時間表切換到恆定的零利率
    • 每個優化器都失去了動力
  6. 線性預熱從零上升到目標速率超過 200 個步驟。中途使用的費率大約是多少?
    • 完全目標率
    • 目標率的一半左右
    • 學習率恰好為零
    • 目標率的兩倍
  7. 在餘弦水平 t = T 處,指南的餘弦公式產生什麼乘數?
    • 一
    • 二分之一
    • 零
    • 就變成負數了
  8. 為什麼在預熱後使用逐漸的餘弦衰減而不是突然將速率設為零?
    • 它保證了全局最小值
    • 它增加了模型的參數數量
    • 它消除了檢查訓練損失的需要
    • 它可以降低速率,以便優化可以逐漸解決