引导式测验 · 中等 等级

随机权重平均测验

检查 SWA 权重平均、学习率行为、批量归一化重新校准以及单个平均模型与集成模型的差异。

相关引导路径随机权重平均
问题 1 的 8

随机权重平均的实际平均值是多少？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 随机权重平均的实际平均值是多少？
    • 训练后期多个点采样的模型权重
    • 几个单独训练的模型的预测
    • 所有小批量计算的梯度
    • 每个时期使用的学习率
  2. 为什么SWA倾向于提高泛化能力？
    • 它更准确地记住训练集
    • 它发现更宽、更平坦的最小值，对未见过的数据更稳健
    • 它增加了模型中的参数数量
    • 它消除了对验证集的需要
  3. 对于使用批量归一化的网络，SWA 需要什么额外步骤？
    • 从头开始重新训练网络
    • 将批量大小加倍
    • 额外的前向传播重新计算 BN 运行统计数据
    • 删除所有dropout层
  4. SWA 平均阶段通常使用什么学习率行为？
    • 学习率衰减至零
    • 学习率为 1 以保证稳定性
    • 由于训练被冻结，所以根本没有学习率
    • 恒定或周期性的、相对较高的学习率
  5. 与传统的 N 个模型集成相比，SWA 的推理成本如何？
    • 它的成本大约是单个模型，因为结果是一组权重
    • 贵了N倍
    • 与运行N个模型相同
    • 不能用于推理
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress