引导式测验 · 中等 等级

知识蒸馏测验

在蒸馏中应用教师分布、软化目标和学生评估，包括为什么模仿不能保证教师水平的准确性。

相关引导路径知识蒸馏
问题 1 的 8

在知识蒸馏中，训练的学生模型是做什么的？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 在知识蒸馏中，训练的学生模型是做什么的？
    • 训练小型学生模型来模仿大型教师模型
    • 使模型更大、更准确
    • 自动标记数据
    • 加密模型的权重
  2. 老师的“暗知识”是什么意思？
    • 模型中隐藏的恶意行为
    • 模型文件的加密部分
    • 教师分配给错误班级的相对概率信息
    • 教师从未接受过培训的数据
  3. 温度 (T) 在蒸馏中起什么作用？
    • 它仅控制模型的训练速度
    • 它软化了 softmax，因此小的类间相似性变得可以学习
    • 它设置学生的层数
    • 它测量 GPU 的热量输出
  4. 经典的蒸馏损失结合了哪两个组成部分？
    • 两种独立的奖励模型
    • 均方误差和铰链损失
    • 针对参考策略和价值函数的 KL 惩罚
    • 与教师的软输出以及真实标签上的交叉熵相匹配的 KL 散度项
  5. 哪个是蒸馏语言模型的示例？
    • ResNet-50
    • 词向量
    • 蒸馏伯特
    • 亚历克斯网
  6. 基于特征的蒸馏与经典的基于输出的方法有何不同？
    • 它匹配中间隐藏层表示，而不仅仅是最终输出
    • 完全无视老师
    • 它只使用硬标签
    • 它训练的是老师而不是学生
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names