概述
一种简单且广泛使用的保护措施，可限制训练期间梯度更新的大小。它可以防止单个巨大更新破坏模型的稳定性或破坏模型，特别是在循环模型和语言模型中。
梯度裁剪是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。
深入探讨
梯度裁剪在优化器应用梯度之前限制梯度的大小。最常见的形式是按范数剪辑：计算所有梯度的总 L2 范数，如果它超过选定的阈值，则将每个梯度缩小相同的因子，使范数等于阈值。这保留了更新的方向，同时缩小了其幅度。一个更简单的变体，按值剪辑，只是将每个单独的梯度分量限制在固定范围内，如 [-5, 5]，但它可能会扭曲更新方向。剪裁在 RNN 和 LSTM 中至关重要，因为梯度爆炸很常见，而且它是训练大型语言模型中几乎通用的成分，在这些模型中，偶尔出现的不良批次或稀有标记可能会产生损失尖峰和 NaN。
技术洞察
在按范数剪辑中，您计算 g_norm，即级联梯度向量的 L2 范数。如果 g_norm 超过阈值 c，则将每个梯度乘以 c / g_norm；否则你就让它们保持不变。由于您按相同标量缩放所有分量，因此保留下降方向，并且仅限制步长。按值剪辑独立地夹紧每个元素，这可以改变方向但可靠地限制每个组件。
掌握渐变裁剪
一种简单且广泛使用的保护措施，可限制训练期间梯度更新的大小。它可以防止单个巨大更新破坏模型的稳定性或破坏模型，特别是在循环模型和语言模型中。梯度裁剪是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。为了建立深入的理解，请将梯度裁剪视为一种操作模型，而不是单一功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用梯度裁剪的强大团队可以根据可靠性和成本来优化架构、数据和基础设施选择。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
多年来，架构决策决定着性能和运营成本。与此同时，优化一个基准测试可以隐藏更广泛的系统弱点。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
多年来，架构决策决定着性能和运营成本。
多年来，架构决策决定着性能和运营成本。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
更好的工程选择可以减少生产中的可靠性事故。
更好的工程选择可以减少生产中的可靠性事故。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
训练用于文本生成的 LSTM，工程师设置 Clipnorm=1.0，因此罕见的爆炸批次不会破坏学习。
大型语言模型训练运行几乎普遍会削减全局梯度范数（通常为 1.0）以抑制损失峰值。
DP-SGD 在添加高斯噪声之前将每个示例的梯度限制为固定范数，从而强制执行正式的差分隐私保证。
观察 TensorBoard 中损失峰值的从业者会降低剪辑阈值，曲线变得平滑且稳定。
实施模式
渐变裁剪实践
训练用于文本生成的 LSTM，工程师设置 Clipnorm=1.0，因此罕见的爆炸批次不会破坏学习。
在训练用于文本生成的 LSTM 时，工程师设置了 Clipnorm=1.0，因此罕见的爆炸批次不会破坏学习。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
渐变裁剪实践
大型语言模型训练运行几乎普遍会削减全局梯度范数（通常为 1.0）以抑制损失峰值。
大型语言模型训练的运行几乎普遍会削减全局梯度范数（通常为 1.0）以抑制损失峰值。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
渐变裁剪实践
DP-SGD 在添加高斯噪声之前将每个示例的梯度限制为固定范数，从而强制执行正式的差分隐私保证。
DP-SGD 在添加高斯噪声之前将每个示例的梯度修剪到固定范数，从而强制执行正式的差分隐私保证。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
渐变裁剪实践
观察 TensorBoard 中损失峰值的从业者会降低剪辑阈值，曲线变得平滑且稳定。
从业者在 TensorBoard 中观察损失峰值会降低剪辑阈值，曲线变得平滑且稳定。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实施之前定义延迟、质量和成本目标。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在实际负载和数据条件下进行基准测试。
在实际负载和数据条件下进行基准测试。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
仪器监控错误、漂移和用户影响。
仪器监控错误、漂移和用户影响。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在扩展之前准备回滚和事件响应路径。
在扩展之前准备回滚和事件响应路径。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。