概述
标签平滑是一种简单的正则化技巧，可以软化困难的单热训练目标，告诉模型正确的答案很有可能，但不是 100% 确定。它改进了图像和语言模型的校准和泛化，几乎没有额外的成本。
标签平滑位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。
深入探讨
通常，分类器是在 one-hot 标签上进行训练的：真实类别的目标为 1.0，其他所有类别均为 0.0。与交叉熵和 softmax 相结合，这会推动模型使正确的 logit 无限大于其余的 logit，从而鼓励过度自信和过度拟合。标签平滑将真实类别的目标替换为 (1 - epsilon)，并将 epsilon/(K-1) 分布到其他 K 类别，其中 epsilon 较小（通常为 0.1）。该模型现在的目标是有信心但不是绝对的分布。它在 2016 年的 Inception-v3 工作中引入，后来由 Hinton 小组进行了分析，它提高了 ImageNet 的准确性，并且是 Transformers 中的标准，其中最初的 Attention Is All You Need 论文使用了 0.1 的 epsilon。
技术洞察
使用硬标签，最小化交叉熵可以使正确的 logit 相对于其他 logit 趋向正无穷大，这是无法实现的，并且会将权重推向极端。平滑设置了正确 logit 和其余 logit 之间的有限最佳差距，因此 logit 保持有界，并且模型不再具有最大置信度。研究表明，这会收紧同类集群并产生更好的校准概率，预测的置信度与实际的准确性相匹配。权衡：它可以消除细粒度的类间相似性信息，这有时会损害那些软关系很重要的知识蒸馏。
掌握标签平滑
标签平滑是一种简单的正则化技巧，可以软化困难的单热训练目标，告诉模型正确的答案很有可能，但不是 100% 确定。它改进了图像和语言模型的校准和泛化，几乎没有额外的成本。标签平滑位于核心人工智能工具包中。当你理解它时，其他人工智能主题就变得更容易评估和比较。为了建立深入的理解，请将标签平滑视为一种操作模型，而不是单一功能：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用标签平滑的强大团队首先构建强大的概念模型，然后将这些模型映射到实际的生产约束。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
它可以帮助您将清晰的技术声明与营销语言分开。同时，不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
它可以帮助您将清晰的技术声明与营销语言分开。
它可以帮助您将清晰的技术声明与营销语言分开。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
在花费金钱或时间之前，您可以提出更好的实施问题。
在花费金钱或时间之前，您可以提出更好的实施问题。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
具有共同理解的团队可以做出更好的产品、政策和学习决策。
具有共同理解的团队可以做出更好的产品、政策和学习决策。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
ImageNet 分类：Inception-v3 使用标签平滑 (epsilon 0.1) 来提高 top-1 准确率并减少过度自信。
机器翻译：原始 Transformer 应用了 0.1 的标签平滑，用一点困惑换取了更高的 BLEU 分数。
语音识别：平滑的目标可减少过度自信的误识别，并改进对噪声音频的校准。
医学成像模型：平滑可以产生更好校准的概率，这在置信度分数为临床决策提供信息时很重要。
实施模式
标签平滑实践
ImageNet 分类：Inception-v3 使用标签平滑 (epsilon 0.1) 来提高 top-1 准确率并减少过度自信。
ImageNet 分类：Inception-v3 使用标签平滑（epsilon 0.1）来提高 top-1 准确性并减少过度自信。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
标签平滑实践
机器翻译：原始 Transformer 应用了 0.1 的标签平滑，用一点困惑换取了更高的 BLEU 分数。
机器翻译：最初的 Transformer 应用了 0.1 的标签平滑，以一点困惑换取更高的 BLEU 分数。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
标签平滑实践
语音识别：平滑的目标可减少过度自信的误识别，并改进对噪声音频的校准。
语音识别：平滑的目标可以减少过度自信的误识别并改善对嘈杂音频的校准当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪随着时间的推移提高的生产力和错误成本时，通常会得到更好的结果。
标签平滑实践
医学成像模型：平滑可以产生更好校准的概率，这在置信度分数为临床决策提供信息时很重要。
医学成像模型：平滑可以产生更好校准的概率，这在置信度分数为临床决策提供信息时非常重要。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
从您需要的结果的简单语言定义开始。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在测试之前选择一种成功指标和一种失败条件。
在测试之前选择一种成功指标和一种失败条件。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
使用代表性数据运行小型试点，而不是完善的演示集。
使用代表性数据运行小型试点，而不是完善的演示集。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
记录标签平滑在哪些方面有帮助以及在哪些方面更简单的方法更好。
记录标签平滑在哪些方面有帮助以及在哪些方面更简单的方法更好。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。