引導式測驗 · 中等 等級
隨機權重平均測驗
檢查 SWA 權重平均、學習率行為、批量歸一化重新校準以及單一平均模型與整合模型的差異。
問題 1 的 8
隨機權重平均的實際平均值是多少?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 隨機權重平均的實際平均值是多少?
- 訓練後期多個點採樣的模型權重
- 幾個單獨訓練的模型的預測
- 所有小批量計算的梯度
- 每個時期所使用的學習率
- 為什麼SWA傾向於提高泛化能力?
- 它更準確地記住訓練集
- 它發現更寬、更平坦的最小值,對未見過的數據更穩健
- 它增加了模型中的參數數量
- 它消除了對驗證集的需要
- 對於使用批量歸一化的網絡,SWA 需要什麼額外步驟?
- 從頭開始重新訓練網絡
- 將批量大小加倍
- 額外的前向傳播重新計算 BN 運行統計數據
- 刪除所有dropout圖層
- SWA 平均階段通常會使用什麼學習率行為?
- 學習率衰減至零
- 學習率為 1 以確保穩定性
- 由於訓練被凍結,所以根本沒有學習率
- 恆定或週期性的、相對較高的學習率
- 與傳統的 N 個模型整合相比,SWA 的推理成本如何?
- 它的成本大約是單一模型,因為結果是一組權重
- 貴了N倍
- 與運行N個模型相同
- 不能用於推理
- Why does the batch-normalization adjustment belong after SWA weight averaging?
- The averaging step deletes every convolution
- Its running statistics must be recomputed for the averaged weights
- It converts batch normalization into layer normalization
- It restores the original optimizer learning rate
- An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
- w_SWA + n · w_i
- (w_SWA + w_i) divided by n
- (n · w_SWA + w_i) divided by (n + 1)
- n · (w_SWA − w_i)
- Why is SWA commonly started during the later part of training?
- It requires the model to remain at random initialization
- It can only average models with different architectures
- It replaces the training data with validation examples
- It averages nearby useful checkpoints from a trajectory after the model has made substantial progress