引导式测验 · 中等 等级

预热和余弦退火时间表测验

测试热身的早期训练作用、向余弦衰减的过渡以及如何读取时间表的线性斜坡和终点。

相关引导路径预热和余弦退火时间表
问题 1 的 8

训练开始时热身阶段的主要目的是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 训练开始时热身阶段的主要目的是什么？
    • 当权重随机且梯度有噪声时稳定早期训练
    • 逐渐增加批量大小
    • 冻结模型的底层
    • 压缩模型以加快推理速度
  2. 余弦退火会按照哪种形状衰减学习率？
    • 一条直线对角线
    • 余弦曲线从高处开始，逐渐缓和并在接近零时变平
    • 在固定时期下降的阶跃函数
    • 呈指数级上升
  3. 哪个优化器特别受益于预热，因为它的方差估计在早期不可靠？
    • 没有动力的普通 SGD
    • 网格搜索
    • Adam 及其变体
    • K-均值
  4. 余弦公式中，T代表什么？
    • 模型采样温度
    • 使用的 GPU 数量
    • 分词器词汇量大小
    • 计划中的训练步骤总数
  5. 在指南的热身加余弦时间表中，热身达到目标速率后会开始什么？
    • Cosine decay begins from the peak learning rate
    • All model weights are reset
    • The schedule switches to a constant zero rate
    • Momentum is removed from every optimizer
  6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
    • The full target rate
    • About half of the target rate
    • The learning rate is exactly zero
    • Twice the target rate
  7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
    • 一
    • One-half
    • 零
    • It becomes negative one
  8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
    • It guarantees a global minimum
    • It increases the model’s parameter count
    • It removes the need to check training loss
    • It lets the rate ease down so optimization can settle gradually