引导式测验 · 中等 等级

标签平滑测验

涵盖平滑目标和 epsilon、任务相关校准效果、蒸馏权衡以及为什么结果取决于数据和目标。

相关引导路径标签平滑
问题 1 的 8

标签平滑对训练目标有何影响？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 标签平滑对训练目标有何影响？
    • 它软化了单热目标，因此真实类别低于 1.0，其他类别略高于 0
    • 它删除了损失函数
    • 它删除不正确的类
    • 学习率翻倍
  2. 平滑参数 epsilon 的常见值为：
    • 0.9
    • 0.1
    • 5.0
    • 0.0
  3. 用平滑目标替换硬性单热目标的预期效果是什么？
    • 强制每个类别具有相等的概率
    • 保证真实类别获得最大的logit
    • 避免要求标记类别获得精确为一的目标概率
    • 消除对标记训练数据的需求
  4. 哪些地标建筑是标签平滑使用的突出例子？
    • 仅适用于AlexNet和LeNet
    • 仅适用于ResNet-50和VGG
    • AlphaGo 和 AlphaZero
    • Inception-v3 和 Transformer
  5. 标签平滑对校准有何作用？
    • 它可以在某些设置中改善校准，但效果取决于任务和模型
    • 它保证每个分类器都能完美校准
    • 它无法影响预测概率
    • 它总是使置信度等于准确率
  6. 标签平滑的有记录的缺点是什么？
    • 它总是会降低准确性
    • 它会消除类间的精细相似性，损害知识精炼
    • 需要两倍的训练数据
    • 它只适用于文本
  7. 为什么标签平滑会使知识蒸馏变得复杂？
    • 它将每个类别标签转换为图像
    • 它迫使学生使用不同的分词器
    • 它可能会移除logit中关于错误类别相似度的信息
    • 它阻止教师生成logit
  8. 在比较标签平滑实现时，实践者应该验证什么？
    • 模型是否具有网页浏览器
    • 训练是否使用验证文件名
    • logit是否以文本形式存储
    • Whether epsilon is distributed over all classes or only the non-target classes