概述
结构化剪枝删除了神经网络的整个组件，例如注意力头、神经元或整个层，因此更精简的模型在普通硬件上运行得更快。层删除是最激进的版本，删除完整的变压器块以缩小深度。
结构化修剪和层丢弃是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。
深入探讨
非结构化修剪将各个权重归零，但充满分散零的矩阵仍然在 GPU 上全速运行，因为硬件不会跳过它们。相反，结构化剪枝会删除相干块、整个注意力头、前馈神经元、通道或整个层，这实际上会缩小张量并产生真正的加速，而无需特殊的稀疏内核。层丢弃将这一点推向了最远：像 LayerDrop 这样的研究和后来的深度修剪工作表明，许多变压器层，特别是在中层和上层堆栈中，是令人惊讶的冗余。您通常可以删除 20% 到 40% 的图层，并通过短轮微调或知识提炼来恢复大部分丢失的精度。重要性是通过层的输入和输出之间的角距离（它改变表示的程度）等指标来判断的。
技术洞察
常见的深度修剪方法根据每个块的输入和输出隐藏状态的相似程度来对其进行评分：如果某个层几乎不改变残差流（高余弦相似度），则它的贡献很小并且可以被删除。头部可以按照灵敏度（屏蔽时损失的增加）进行排名。删除得分最低的单元后，一个简短的蒸馏步骤可以让幸存的权重重新吸收修剪后的组件的功能并恢复质量。
掌握结构化修剪和层删除
结构化剪枝删除了神经网络的整个组件，例如注意力头、神经元或整个层，因此更精简的模型在普通硬件上运行得更快。层删除是最激进的版本，删除完整的变压器块以缩小深度。结构化修剪和层丢弃是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。为了建立深入的理解，请将结构化剪枝和层丢弃视为一种操作模型，而不是单个功能：定义所需的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，强大的团队使用结构化修剪和层丢弃来根据可靠性和成本优化架构、数据和基础设施选择。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
多年来，架构决策决定着性能和运营成本。与此同时，优化一个基准测试可以隐藏更广泛的系统弱点。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
多年来，架构决策决定着性能和运营成本。
多年来，架构决策决定着性能和运营成本。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
更好的工程选择可以减少生产中的可靠性事故。
更好的工程选择可以减少生产中的可靠性事故。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
通过修剪图层，然后微调以恢复准确性，从大型教师那里提炼出小型、快速的学生模型
删除翻译模型中的冗余注意力头以减少边缘设备上的延迟
放弃 LLM 的上部变压器模块以达到严格的移动推理延迟目标
通过修剪到不同的深度和宽度，从一个预训练的检查点创建一系列模型大小
实施模式
实践中的结构化剪枝和层丢弃
通过修剪图层，然后微调以恢复准确性，从大型教师那里提炼出小型、快速的学生模型。
通过修剪层从大型教师那里提炼出小型、快速的学生模型，然后进行微调以恢复准确性。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中的结构化剪枝和层丢弃
删除翻译模型中的冗余注意力头以减少边缘设备上的延迟。
删除翻译模型中的冗余注意力头以减少边缘设备上的延迟当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中的结构化剪枝和层丢弃
放弃 LLM 的上部变压器模块以达到严格的移动推理延迟目标。
放弃 LLM 的上部变压器模块以达到严格的移动推理延迟目标 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
实践中的结构化剪枝和层丢弃
通过修剪到不同的深度和宽度，从一个预训练的检查点创建一系列模型大小。
通过修剪到不同的深度和宽度，从一个预训练的检查点创建一系列模型大小当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实施之前定义延迟、质量和成本目标。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在实际负载和数据条件下进行基准测试。
在实际负载和数据条件下进行基准测试。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
仪器监控错误、漂移和用户影响。
仪器监控错误、漂移和用户影响。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在扩展之前准备回滚和事件响应路径。
在扩展之前准备回滚和事件响应路径。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。