À suivreGuide suivant
Étiquettes de contenu IA sur les plateformes sociales
Société
GUIDE des fondamentaux
Lissage des étiquettes
Label smoothing replaces hard one-hot targets with a softened target distribution during training.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
Plongée profonde
With K classes, one common label-smoothing convention assigns 1 − ε to the correct class and distributes ε across the remaining classes; implementations may instead distribute ε across all classes, so check the loss definition. This prevents the target from demanding probability one for the labeled class and can discourage extreme logits. The Inception-v3 work and the Transformer paper are prominent documented uses of the method. Research has found calibration and generalization benefits in some settings, while also showing that smoothing can remove information about similarities among incorrect classes and weaken a model as a knowledge-distillation teacher. It is therefore not a universal accuracy or calibration improvement. Choose ε and evaluate calibration, task quality, and downstream distillation on representative validation data.
Mise en œuvre dans le monde réel
Classification ImageNet : Inception-v3 a utilisé le lissage des étiquettes (epsilon 0.1) pour améliorer la précision du top 1 et réduire l'excès de confiance.
Traduction automatique : le Transformer original appliquait un lissage des étiquettes de 0,1, échangeant un peu de perplexité contre des scores BLEU plus élevés.
Reconnaissance vocale : les cibles lissées réduisent les erreurs de reconnaissance trop confiantes et améliorent l'étalonnage sur l'audio bruyant.
Modèles d’imagerie médicale : le lissage donne des probabilités mieux calibrées, ce qui est important lorsqu’un score de confiance éclaire les décisions cliniques.
L’avenir du lissage des étiquettes
Le lissage des étiquettes reste un défaut dans la formation à grande échelle, mais la recherche s'oriente vers un lissage adaptatif et appris qui ajuste l'epsilon par exemple ou par classe plutôt que d'utiliser une valeur plate. Les méthodes axées sur l'étalonnage, telles que la perte focale et la mise à l'échelle de la température, sont souvent mises en balance ou combinées avec celles-ci. À mesure que les modèles se développent et que les estimations fiables de l’incertitude deviennent essentielles à la sécurité, il faut s’attendre à ce que le lissage soit un outil parmi tant d’autres pour produire des scores de confiance fiables, en prêtant une attention particulière à son conflit connu avec la distillation.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez les domaines dans lesquels le lissage des étiquettes est utile et les domaines dans lesquels les méthodes plus simples sont préférables.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Label Smoothing quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Label Smoothing?
Label smoothing replaces hard one-hot targets with a softened target distribution during training. It can regularize some models, but its effects on accuracy, calibration, and distillation depend on the task, model, and evaluation.
Qu’est-ce que le lissage des étiquettes change sur les objectifs de formation ?
Au lieu d'un objectif strict de 1,0/0,0, le lissage des étiquettes attribue (1 - epsilon) à la vraie classe et répartit l'epsilon sur les autres.
What is one intended effect of replacing hard one-hot targets with smoothed targets?
Smoothing softens the target distribution so the training objective does not demand a one-hot probability vector.
Which landmark architectures are prominent examples of label-smoothing use?
Inception-v3 and the Transformer paper are prominent documented uses of label smoothing; this wording makes no claim that either originated the technique.
What can label smoothing do to calibration?
Research reports calibration effects that depend on the model and evaluation setting; label smoothing is not a universal calibration guarantee.
Quel est l’inconvénient documenté du lissage des étiquettes ?
En resserrant les clusters et en aplatissant les relations douces entre les classes, le lissage peut supprimer les informations sur lesquelles repose la distillation des connaissances.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet