概述
它在保持准确性几乎不变的前提下，降低了尺寸、内存和计算成本。
深入探讨
经过训练的神经网络通常过度参数化：许多连接带有微小的权重，几乎不会影响预测。修剪可以识别并删除这些内容，从而留下更精简的模型。非结构化修剪将各个权重归零，生成可以高度压缩但需要特殊硬件或库才能真正加速的稀疏矩阵。结构化修剪会删除整个单元——神经元、注意力头、通道或层——产生一个更小的密集模型，在普通硬件上运行得更快。一个常见的方法是迭代循环：训练，通过某种标准（通常是权重大小）修剪最不重要的参数，然后进行微调以恢复损失的准确性，重复直到满足大小或速度目标。修剪与部署管道中的量化和蒸馏自然配对。
现实世界的实施
压缩大型语言模型以在单个消费者 GPU 而不是服务器集群上运行。
精简视觉模型，使其适合智能手机或嵌入式相机的内存。
从 Transformer 中移除多余的注意力头，质量几乎没有明显下降。
减少高流量服务的推理能量和延迟，以降低云成本。
模型剪枝的未来
剪枝在大型语言模型中越来越多地被应用，结构化方法可以移除支持的注意力头、神经元或层，以将模型适配到更小的 GPU 和边缘设备。一些硬件和内核加速特定支持的稀疏模式，例如 NVIDIA 2:4 结构化稀疏；任意非结构化零不会自动更快。预计剪枝将与量化和蒸馏结合，在压缩管道中根据具体的延迟、能耗、内存和质量目标进行衡量。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是模型剪枝？
模型剪枝通过删除对其输出影响很小的权重或整个结构来缩小神经网络。它减少了大小、内存和计算成本，同时旨在保持准确性几乎不变。
模型剪枝会从经过训练的网络中删除什么？
剪枝通过削减低贡献权重或单位来利用过度参数化来缩小模型，同时保留其大部分准确性。
结构化剪枝与非结构化剪枝有何区别？
结构化剪枝删除了整个组件，产生更小的密集模型，在标准硬件上运行得更快，而非结构化剪枝则将各个权重归零，从而产生稀疏性。
为什么非结构化剪枝常常无法在普通硬件上加速模型？
分散的零不会自动转化为更少的计算；除非使用专门的稀疏内核或加速器，否则密集硬件仍然可以处理它们。
典型的迭代修剪方法是什么？
迭代剪枝交替删除低重要性参数和微调以恢复精度，逐渐达到大小或速度目标。
彩票假说主张什么？
该假设观察到，精心选择的稀疏子网络（“中奖彩票”），从其原始初始化开始训练，可以达到全密集网络的准确性。