引導式測驗 · 中等 等級

隨機權重平均測驗

檢查 SWA 權重平均、學習率行為、批量歸一化重新校準以及單一平均模型與整合模型的差異。

相關引導路徑隨機權重平均
問題 1 的 8

隨機權重平均的實際平均值是多少?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 隨機權重平均的實際平均值是多少?
    • 訓練後期多個點採樣的模型權重
    • 幾個單獨訓練的模型的預測
    • 所有小批量計算的梯度
    • 每個時期所使用的學習率
  2. 為什麼SWA傾向於提高泛化能力?
    • 它更準確地記住訓練集
    • 它發現更寬、更平坦的最小值,對未見過的數據更穩健
    • 它增加了模型中的參數數量
    • 它消除了對驗證集的需要
  3. 對於使用批量歸一化的網絡,SWA 需要什麼額外步驟?
    • 從頭開始重新訓練網絡
    • 將批量大小加倍
    • 額外的前向傳播重新計算 BN 運行統計數據
    • 刪除所有dropout圖層
  4. SWA 平均階段通常會使用什麼學習率行為?
    • 學習率衰減至零
    • 學習率為 1 以確保穩定性
    • 由於訓練被凍結,所以根本沒有學習率
    • 恆定或週期性的、相對較高的學習率
  5. 與傳統的 N 個模型整合相比,SWA 的推理成本如何?
    • 它的成本大約是單一模型,因為結果是一組權重
    • 貴了N倍
    • 與運行N個模型相同
    • 不能用於推理
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress