Surajustement et sous-ajustement
Le surajustement se produit lorsqu'un modèle mémorise ses données d'entraînement et échoue sur de nouveaux exemples ; le sous-ajustement, c'est quand il est trop simple de capturer le modèle réel.
Aperçu
Hitting the sweet spot between them is the central challenge of machine learning.
Plongée profonde
Chaque modèle est adapté à un ensemble d'entraînement fini, mais l'objectif est d'obtenir de bonnes performances sur des données invisibles. Un modèle de surajustement traite le bruit et les bizarreries de l'ensemble d'entraînement comme s'il s'agissait de signaux réels : il peut obtenir un score de 99 % sur les données d'entraînement, mais s'effondrer à 70 % sur un ensemble de test. Un modèle sous-adapté est le problème inverse, trop rigide pour capturer la structure sous-jacente, il fonctionne donc mal à la fois sur les données d'entraînement et de test. L’écart entre la formation et les performances aux tests est le signe révélateur. Le sous-ajustement se traduit par une erreur élevée partout (biais élevé) ; le surajustement se manifeste par une faible erreur d'entraînement mais une erreur de test élevée (variance élevée). La compétence consiste à reconnaître le problème que vous rencontrez, car les correctifs vont dans des directions opposées.
Aperçu technique
Le surajustement et le sous-ajustement sont les deux extrémités du compromis biais-variance. Le biais est une erreur provenant d’hypothèses trop simplistes ; la variance est une erreur due à une trop grande sensibilité à l'échantillon de formation spécifique. Un petit modèle linéaire a un biais élevé et une faible variance (sous-ajustement) ; un énorme modèle sans contrainte a un faible biais et une variance élevée (surajustements). L’erreur attendue totale se décompose grossièrement en biais carré plus variance plus bruit irréductible. Les praticiens détectent le problème en comparant la précision d’un ensemble d’entraînement à un ensemble de validation retenu, en observant où les deux courbes divergent.
Impact stratégique
Décisions plus claires
Il vous aide à séparer les affirmations techniques claires du langage marketing.
Coût et budget
Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
Équipe et flux de travail
Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
L'avenir du surajustement et du sous-ajustement
Ces concepts restent fondamentaux, mais les très grands réseaux de neurones ont compliqué le tableau classique. Les modèles modernes peuvent avoir bien plus de paramètres que de points de données tout en généralisant bien, un régime surprenant parfois appelé « double descente » dans lequel l'erreur de test chute à nouveau après le pic de surajustement. La recherche se concentre de plus en plus sur les raisons pour lesquelles les modèles surparamétrés se généralisent, le rôle de la régularisation implicite dans les optimiseurs et une meilleure détection automatisée des changements de distribution. Attendez-vous à des diagnostics plus riches qui signalent un surajustement en production à mesure que les données du monde réel s'éloignent des données de formation.
Mise en œuvre dans le monde réel
Un filtre anti-spam qui signale chaque e-mail contenant le nom d'un expéditeur spécifique, car cet expéditeur a massivement spammé dans les données de formation, manquant complètement les nouveaux spammeurs (surapprentissage).
Un modèle de prix de l'immobilier utilisant uniquement la superficie en pieds carrés et ignorant l'emplacement, les chambres et l'état, de sorte qu'il manque cruellement dans les quartiers chers (sous-aménagement).
Un classificateur d'images médicales qui apprend à détecter le filigrane du scanner d'un hôpital au lieu de la maladie, et qui échoue dans d'autres hôpitaux (surajustement à une caractéristique parasite).
Tracer la perte de formation par rapport à la perte de validation pendant la formation et arrêter lorsque la perte de validation commence à augmenter tandis que la perte de formation continue de diminuer (détecter le surapprentissage tôt).
Risques et garde-fous
Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Feuille de route de mise en œuvre
Commencez par une définition en langage simple du résultat dont vous avez besoin.
Choisissez une mesure de réussite et une condition d’échec avant de tester.
Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
Documentez où le surajustement et le sous-ajustement sont utiles et où les méthodes plus simples sont meilleures.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Rétropropagation
Questions fréquemment posées
What is Overfitting and Underfitting?
Le surajustement se produit lorsqu'un modèle mémorise ses données d'entraînement et échoue sur de nouveaux exemples ; le sous-ajustement, c'est quand il est trop simple de capturer le modèle réel. Trouver le juste milieu entre eux est le défi central de l’apprentissage automatique.
Un modèle obtient un score de 98 % sur ses données d'entraînement, mais seulement de 71 % sur un ensemble de tests retenu. Quel est le problème le plus probable ?
Un écart important dans lequel la précision de l'entraînement est élevée mais celle des tests est beaucoup plus faible est la signature classique du surajustement : le modèle intègre le bruit dans les données d'entraînement plutôt que le modèle général.
Quel scénario décrit le mieux le sous-apprentissage ?
Un modèle sous-adapté est trop simple pour capturer le modèle sous-jacent, il fonctionne donc mal partout, y compris sur les données sur lesquelles il a été formé.
Dans le compromis biais-variance, une variance élevée est la plus associée à quel résultat ?
Une variance élevée signifie que le modèle change beaucoup en fonction des données d'entraînement exactes qu'il voit, ce qui conduit à un surajustement. Un biais élevé est l’extrémité opposée et trop simpliste.
Un modèle de prêt en cas de défaut utilise uniquement l'âge du demandeur et ignore les revenus, les dettes et les antécédents de crédit. Il fonctionne mal à la fois sur la formation et sur les nouvelles données. Que devez-vous faire ?
De mauvaises performances partout indiquent un sous-apprentissage. La solution consiste à augmenter la capacité du modèle, souvent en ajoutant des fonctionnalités informatives, afin qu’il puisse représenter la véritable relation.
Pourquoi une validation ou un ensemble de tests en attente est-il essentiel pour détecter le surapprentissage ?
Le surapprentissage est invisible si vous regardez uniquement la précision de l’entraînement. L'évaluation sur des données invisibles révèle l'écart entre la mémorisation et la véritable généralisation.