引導式測驗 · 中等 等級
預熱和餘弦退火時間表測驗
測試熱身的早期訓練作用、向餘弦衰減的過渡以及如何讀取時間表的線性斜坡和終點。
問題 1 的 8
訓練開始時熱身階段的主要目的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 訓練開始時熱身階段的主要目的是什麼?
- 當權重隨機且梯度有噪音時穩定早期訓練
- 逐漸增加批量大小
- 凍結模型的底層
- 壓縮模型以加快推理速度
- 餘弦退火會依照哪一種形狀衰減學習率?
- 一條直線對角線
- 餘弦曲線從高處開始,逐漸緩和並在接近零時變平
- 在固定時期下降的階躍函數
- 呈指數級上升
- 哪個優化器特別受益於預熱,因為它的變異數估計在早期不可靠?
- 沒有動力的普通 SGD
- 網格搜尋
- Adam 及其變體
- K-均值
- 餘弦公式中,T代表什麼?
- 模型採樣溫度
- 使用的 GPU 數量
- 分詞器詞彙量大小
- 計劃中的訓練步驟總數
- 在指南的暖身加餘弦時間表中,熱身達到目標速率後會開始什麼?
- 餘弦衰減從峰值學習率開始
- 所有模型權重已重置
- 時間表切換到恆定的零利率
- 每個優化器都失去了動力
- 線性預熱從零上升到目標速率超過 200 個步驟。中途使用的費率大約是多少?
- 完全目標率
- 目標率的一半左右
- 學習率恰好為零
- 目標率的兩倍
- 在餘弦水平 t = T 處,指南的餘弦公式產生什麼乘數?
- 一
- 二分之一
- 零
- 就變成負數了
- 為什麼在預熱後使用逐漸的餘弦衰減而不是突然將速率設為零?
- 它保證了全局最小值
- 它增加了模型的參數數量
- 它消除了檢查訓練損失的需要
- 它可以降低速率,以便優化可以逐漸解決