引導式測驗 · 中等 等級

權重衰減和 L2 正規化測驗

在訓練中測試 L2 懲罰、向零收縮、SGD 等效性、AdamW 解耦、自適應縮放和衰減強度。

問題 1 的 8

L2 正規化為損失函數增加了什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. L2 正規化為損失函數增加了什麼?
    • 網路的層數
    • 對學習率的懲罰
    • 訓練樣本數
    • 與權重平方和成比例的懲罰
  2. 重量衰減有助於防止的主要問題是什麼?
    • 數據加載緩慢
    • 過度擬合,模型會記住訓練資料中的噪聲
    • 硬體故障
    • 標籤不正確
  3. 權重衰減將模型的權重推向哪個方向?
    • 走向無限
    • 向著最大重量
    • 走向零
    • 朝向隨機值
  4. 為什麼要引進 AdamW?
    • 將權重衰減與自適應梯度更新分離,以便衰減表現正確
    • 完全刪除漸變
    • 故意放慢訓練速度
    • 消除對學習率的需要
  5. 對於普通隨機梯度下降,L2 正則化和權重衰減有何關係?
    • 他們永遠是對立的
    • 它們在數學上是等價的
    • 權重衰減禁用梯度
    • L2 僅適用於具有動量的 SGD
  6. L2正則化中lambda係數控制什麼?
    • 批量大小
    • 紀元數
    • 激活函數
    • 大重量處罰的力度
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size