Lissage des étiquettes
Le lissage des étiquettes est une simple astuce de régularisation qui adoucit les objectifs d'entraînement difficiles, indiquant au modèle que la bonne réponse est très probable mais pas sûre à 100 %.
Aperçu
It improves calibration and generalization across image and language models with almost no extra cost.
Plongée profonde
Normalement, un classificateur est formé sur des étiquettes ponctuelles : la vraie classe obtient la cible 1,0 et tout le reste 0,0. Combiné avec l'entropie croisée et le softmax, cela pousse le modèle à rendre le logit correct infiniment plus grand que le reste, encourageant l'excès de confiance et le surajustement. Le lissage des étiquettes remplace la cible par (1 - epsilon) pour la vraie classe et epsilon/(K-1) réparti dans les autres classes K, où epsilon est petit (généralement 0,1). Le modèle vise désormais une distribution sûre mais non absolue. Introduit dans le travail Inception-v3 de 2016 et analysé plus tard par le groupe de Hinton, il a amélioré la précision d'ImageNet et est standard dans Transformers, où le papier original Attention Is All You Need utilisait un epsilon de 0,1.
Aperçu technique
Avec les étiquettes rigides, la minimisation de l’entropie croisée entraîne le logit correct vers l’infini positif par rapport aux autres, ce qui est irréalisable et pousse les pondérations à l’extrême. Le lissage définit un écart optimal fini entre le logit correct et le reste, de sorte que les logits restent limités et que le modèle cesse d'être fiable au maximum. Des études montrent que cela resserre les clusters de même classe et produit des probabilités mieux calibrées, la confiance prédite correspond à la précision réelle. Le compromis : cela peut effacer les informations fines sur les similarités entre les classes, ce qui nuit parfois à la distillation des connaissances là où ces relations douces sont importantes.
Impact stratégique
Décisions plus claires
Il vous aide à séparer les affirmations techniques claires du langage marketing.
Coût et budget
Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
Équipe et flux de travail
Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
L’avenir du lissage des étiquettes
Le lissage des étiquettes reste un défaut dans la formation à grande échelle, mais la recherche s'oriente vers un lissage adaptatif et appris qui ajuste l'epsilon par exemple ou par classe plutôt que d'utiliser une valeur plate. Les méthodes axées sur l'étalonnage, telles que la perte focale et la mise à l'échelle de la température, sont souvent mises en balance ou combinées avec celles-ci. À mesure que les modèles se développent et que les estimations fiables de l’incertitude deviennent essentielles à la sécurité, il faut s’attendre à ce que le lissage soit un outil parmi tant d’autres pour produire des scores de confiance fiables, en prêtant une attention particulière à son conflit connu avec la distillation.
Mise en œuvre dans le monde réel
Classification ImageNet : Inception-v3 a utilisé le lissage des étiquettes (epsilon 0.1) pour améliorer la précision du top 1 et réduire l'excès de confiance.
Traduction automatique : le Transformer original appliquait un lissage des étiquettes de 0,1, échangeant un peu de perplexité contre des scores BLEU plus élevés.
Reconnaissance vocale : les cibles lissées réduisent les erreurs de reconnaissance trop confiantes et améliorent l'étalonnage sur l'audio bruyant.
Modèles d’imagerie médicale : le lissage donne des probabilités mieux calibrées, ce qui est important lorsqu’un score de confiance éclaire les décisions cliniques.
Risques et garde-fous
Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Feuille de route de mise en œuvre
Commencez par une définition en langage simple du résultat dont vous avez besoin.
Choisissez une mesure de réussite et une condition d’échec avant de tester.
Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
Documentez les domaines dans lesquels le lissage des étiquettes est utile et les domaines dans lesquels les méthodes plus simples sont préférables.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Label Smoothing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Clustering K-Means
Questions fréquemment posées
What is Label Smoothing?
Le lissage des étiquettes est une simple astuce de régularisation qui adoucit les objectifs d'entraînement difficiles, indiquant au modèle que la bonne réponse est très probable mais pas sûre à 100 %. Il améliore le calibrage et la généralisation des modèles d’images et de langage sans pratiquement aucun coût supplémentaire.
Qu’est-ce que le lissage des étiquettes change sur les objectifs de formation ?
Au lieu d'un objectif strict de 1,0/0,0, le lissage des étiquettes attribue (1 - epsilon) à la vraie classe et répartit l'epsilon sur les autres.
Quel problème avec les étiquettes dures one-hot le lissage résout-il ?
La minimisation de l'entropie croisée sur des cibles ponctuelles entraîne le logit correct vers l'infini par rapport aux autres, encourageant l'excès de confiance et le surajustement.
Quelles architectures phares ont contribué à populariser le lissage des étiquettes ?
Le lissage des étiquettes a été introduit dans l'article Inception-v3 2016 et adopté par Transformer (Attention Is All You Need) avec epsilon 0.1.
Outre la précision, quel est l’avantage pour lequel le lissage des étiquettes est connu ?
Le lissage améliore l'étalonnage, la confiance prédite s'aligne plus étroitement avec la véritable probabilité d'être correcte.
Quel est l’inconvénient documenté du lissage des étiquettes ?
En resserrant les clusters et en aplatissant les relations douces entre les classes, le lissage peut supprimer les informations sur lesquelles repose la distillation des connaissances.