引导式测验 · 中等 等级

结构化修剪和层丢弃测验

检查为什么结构化修剪可以加速推理、如何估计层重要性以及微调或蒸馏如何恢复质量。

相关引导路径结构化剪枝和层丢弃
问题 1 的 8

为什么结构化剪枝能够产生真正的加速，而非结构化剪枝却常常不能？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 为什么结构化剪枝能够产生真正的加速，而非结构化剪枝却常常不能？
    • 结构化剪枝删除了实际上收缩张量的相干块
    • 非结构化剪枝增加了模型大小
    • 结构化修剪增加了更多层
    • 非结构化剪枝仅适用于 CPU
  2. 在 Transformer 中什么是“层丢弃”？
    • 降低每层的学习率
    • 删除整个变压器块以减少模型深度
    • 为每一层添加 dropout
    • 随机地重新排序图层
  3. 哪个信号通常表明变压器层可以安全掉落？
    • 该层参数最多
    • 该层是网络中的第一层
    • 该层的输入和输出隐藏状态非常相似
    • 该层使用内存最多
  4. 结构化剪枝后通常什么步骤可以恢复准确性？
    • 仅增加批量大小
    • 重新量化为 16 位
    • 添加更多关注头
    • 一轮简短的微调或知识蒸馏
  5. 修剪时个人注意力头通常如何排名？
    • 由于磁头被遮蔽时损耗增加（灵敏度）
    • 按字母顺序
    • 根据他们在词汇中的位置
    • 根据他们看到的代币数量
  6. 结构化剪枝与蒸馏相结合的主要实际用途是什么？
    • 自动生成训练数据
    • 从一个大型检查点派生出一系列更小、更快的模型
    • 加密模型权重
    • 增加上下文窗口长度
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping