引导式测验 · 中等 等级
模型修剪测验
检查结构化和非结构化修剪、稀疏内核限制、迭代恢复、彩票声明和部署测量。
问题 1 的 8
模型剪枝会从经过训练的网络中删除什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 模型剪枝会从经过训练的网络中删除什么？
- 移除对输出影响不大的权重或结构
- 添加更多参数以提高准确性
- 训练更多纪元的模型
- 提高输入分辨率
- 结构化剪枝与非结构化剪枝有何区别？
- 结构化修剪仅适用于图像
- 结构化修剪会删除神经元或头部等整个单元； unstructured removes individual weights
- 非结构化修剪需要从头开始重新训练
- 它们之间没有实际区别
- 为什么非结构化剪枝常常无法在普通硬件上加速模型？
- 它删除了太多层
- 它总是将精度降低为零
- 稀疏权重矩阵需要特殊的硬件或库来利用零点
- 它增加了参数数量
- 典型的迭代修剪方法是什么？
- 一次修剪所有内容，然后部署
- 先量化，然后再训练
- 随机删除图层，直到精度下降
- 训练、修剪最不重要的参数、微调以恢复，然后重复
- 彩票假说主张什么？
- 密集网络包含稀疏子网络，当从正确的初始化进行训练时，这些子网络可以匹配完整的模型
- 修剪总是可以提高准确性
- 随机修剪总是最好的
- 大模型无法压缩
- 通常使用哪个简单标准来决定要修剪哪些权重？
- 图层名称的字母顺序
- 权重的绝对大小
- 激活图的颜色
- 训练样本数量
- 什么时候剪枝最有可能减少普通密集硬件上的推理延迟？
- 当添加单个零但密集内核仍然计算它们时
- 当模型被重命名而不改变其图形时
- 当整个通道或其他结构被移除以产生更小的密集模型时
- 当稀疏检查点存储在较大的文件中时
- 在修剪部署目标后，团队应该衡量什么？
- 仅检查点中零的数量
- 剪枝前只训练准确率
- 文件扩展名是否改变
- 目标硬件上的任务质量和延迟或内存