引導式測驗 · 中等 等級
權重衰減和 L2 正規化測驗
在訓練中測試 L2 懲罰、向零收縮、SGD 等效性、AdamW 解耦、自適應縮放和衰減強度。
問題 1 的 8
L2 正規化為損失函數增加了什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- L2 正規化為損失函數增加了什麼?
- 網路的層數
- 對學習率的懲罰
- 訓練樣本數
- 與權重平方和成比例的懲罰
- 重量衰減有助於防止的主要問題是什麼?
- 數據加載緩慢
- 過度擬合,模型會記住訓練資料中的噪聲
- 硬體故障
- 標籤不正確
- 權重衰減將模型的權重推向哪個方向?
- 走向無限
- 向著最大重量
- 走向零
- 朝向隨機值
- 為什麼要引進 AdamW?
- 將權重衰減與自適應梯度更新分離,以便衰減表現正確
- 完全刪除漸變
- 故意放慢訓練速度
- 消除對學習率的需要
- 對於普通隨機梯度下降,L2 正則化和權重衰減有何關係?
- 他們永遠是對立的
- 它們在數學上是等價的
- 權重衰減禁用梯度
- L2 僅適用於具有動量的 SGD
- L2正則化中lambda係數控制什麼?
- 批量大小
- 紀元數
- 激活函數
- 大重量處罰的力度
- Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
- Adaptive per-parameter gradient scaling can distort the coupled penalty
- Adam cannot train with any regularization
- The two methods use different training labels
- Decoupled decay removes the data loss
- In a simple decoupled update, what changes the fractional shrinkage of a weight?
- Only the number of classes
- Only the model’s input dimension
- The learning rate and decay coefficient together
- Only the validation-set size