引导式测验 · 中等 等级

Adam 和自适应优化器测验

检查 Adam 的梯度矩、偏差校正、自适应缩放、epsilon 和 AdamW 的解耦权重衰减更新。在标准参数更新中。

相关引导路径Adam 和自适应优化器
问题 1 的 8

Adam 对每个参数跟踪哪两个量？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. Adam 对每个参数跟踪哪两个量？
    • 梯度和梯度平方的运行平均值
    • 见过的最大和最小梯度
    • 学习率和批量大小
    • 重量值及其符号
  2. 为什么 Adam 对其矩估计应用偏差校正？
    • 因为在训练初期梯度总是负值
    • 因为移动平均线从零开始并且最初偏向于零
    • 使学习率随着时间的推移而变大
    • 从批次中删除异常数据点
  3. Adam 和 AdamW 之间的主要区别是什么？
    • AdamW 根本不使用动量
    • AdamW 删除了二阶矩估计
    • AdamW 将权重衰减与基于梯度的更新解耦
    • AdamW 仅适用于卷积网络
  4. 小 epsilon 项在 Adam 更新规则中起什么作用？
    • 它设定动量强度
    • 它控制训练时期的数量
    • 它增加了梯度幅度
    • 它可以防止被零除并稳定更新
  5. 为什么亚当经常被描述为“适应性强”？
    • 它有效地为每个参数提供了自己的缩放步长
    • 它在训练期间改变网络架构
    • 它将数据集适应模型
    • 自动在分类和回归之间切换
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • 模型层数
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history