引导式测验 · 中等 等级

权重衰减和 L2 正则化测验

在训练中测试 L2 惩罚、向零收缩、SGD 等效性、AdamW 解耦、自适应缩放和衰减强度。

相关引导路径权重衰减和 L2 正则化
问题 1 的 8

L2 正则化给损失函数添加了什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. L2 正则化给损失函数添加了什么？
    • 网络的层数
    • 对学习率的惩罚
    • 训练样本数
    • 与权重平方和成比例的惩罚
  2. 重量衰减有助于防止的主要问题是什么？
    • 数据加载缓慢
    • 过度拟合，模型会记住训练数据中的噪声
    • 硬件故障
    • 标签不正确
  3. 权重衰减将模型的权重推向哪个方向？
    • 走向无限
    • 向着最大重量
    • 走向零
    • 朝向随机值
  4. 为什么要引入 AdamW？
    • 将权重衰减与自适应梯度更新分离，以便衰减表现正确
    • 完全删除渐变
    • 故意放慢训练速度
    • 消除对学习率的需要
  5. 对于普通随机梯度下降，L2 正则化和权重衰减有何关系？
    • 他们永远是对立的
    • 它们在数学上是等价的
    • 权重衰减禁用梯度
    • L2 仅适用于具有动量的 SGD
  6. L2正则化中lambda系数控制什么？
    • 批量大小
    • 纪元数
    • 激活函数
    • 大重量处罚的强度
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size