标签平滑
标签平滑是一种简单的正则化技巧，可以软化困难的单热训练目标，告诉模型正确的答案很有可能，但不是 100% 确定。
概述
它改进了图像和语言模型的校准和泛化，几乎没有额外的成本。
深入探讨
通常，分类器是在 one-hot 标签上进行训练的：真实类别的目标为 1.0，其他所有类别均为 0.0。与交叉熵和 softmax 相结合，这会推动模型使正确的 logit 无限大于其余的 logit，从而鼓励过度自信和过度拟合。标签平滑将真实类别的目标替换为 (1 - epsilon)，并将 epsilon/(K-1) 分布到其他 K 类别，其中 epsilon 较小（通常为 0.1）。该模型现在的目标是有信心但不是绝对的分布。它在 2016 年的 Inception-v3 工作中引入，后来由 Hinton 小组进行了分析，它提高了 ImageNet 的准确性，并且是 Transformers 中的标准，其中最初的 Attention Is All You Need 论文使用了 0.1 的 epsilon。
技术洞察
使用硬标签，最小化交叉熵可以使正确的 logit 相对于其他 logit 趋向正无穷大，这是无法实现的，并且会将权重推向极端。平滑设置了正确 logit 和其余 logit 之间的有限最佳差距，因此 logit 保持有界，并且模型不再具有最大置信度。研究表明，这会收紧同类集群并产生更好的校准概率，预测的置信度与实际的准确性相匹配。权衡：它可以消除细粒度的类间相似性信息，这有时会损害那些软关系很重要的知识蒸馏。
战略影响
更清晰的判决
它可以帮助您将清晰的技术声明与营销语言分开。
成本与预算
在花费金钱或时间之前，您可以提出更好的实施问题。
团队与工作流程
具有共同理解的团队可以做出更好的产品、政策和学习决策。
标签平滑的未来
标签平滑仍然是大规模训练中的默认设置，但研究正在转向自适应和学习平滑，即根据示例或类别调整 epsilon，而不是使用单一值。通常会权衡焦损失和温度缩放等以校准为重点的方法或与之结合。随着模型的发展和可靠的不确定性估计变得对安全至关重要，预计平滑将成为产生值得信赖的置信度评分的众多工具之一，并仔细注意其与蒸馏的已知冲突。
现实世界的实施
ImageNet 分类：Inception-v3 使用标签平滑 (epsilon 0.1) 来提高 top-1 准确率并减少过度自信。
机器翻译：原始 Transformer 应用了 0.1 的标签平滑，用一点困惑换取了更高的 BLEU 分数。
语音识别：平滑的目标可减少过度自信的误识别，并改进对噪声音频的校准。
医学成像模型：平滑可以产生更好校准的概率，这在置信度分数为临床决策提供信息时很重要。
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
在测试之前选择一种成功指标和一种失败条件。
使用代表性数据运行小型试点，而不是完善的演示集。
记录标签平滑在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是标签平滑？
标签平滑是一种简单的正则化技巧，可以软化困难的单热训练目标，告诉模型正确的答案很有可能，但不是 100% 确定。它改进了图像和语言模型的校准和泛化，几乎没有额外的成本。
标签平滑对训练目标有何影响？
标签平滑不是硬性的 1.0/0.0 目标，而是将 (1 - epsilon) 分配给真实类别，并将 epsilon 分散到其他类别中。
平滑可以解决硬单热标签的什么问题？
最小化单一热点目标的交叉熵会导致正确的 logit 相对于其他目标趋于无穷大，从而鼓励过度自信和过度拟合。
哪些标志性架构有助于普及标签平滑？
标签平滑在 2016 年的 Inception-v3 论文中引入，并被 Transformer 采用（Attention Is All You Need），epsilon 0.1。
除了准确性之外，标签平滑还有什么好处？
平滑改进了校准，预测的置信度与正确的真实可能性更加一致。
标签平滑的有记录的缺点是什么？
通过收紧集群并展平类之间的软关系，平滑可以消除知识蒸馏所依赖的信息。