À suivreGuide suivant
Rééchantillonnage bootstrap
Technique
GUIDE Technique
Déséquilibre de classe et rééchantillonnage
Le déséquilibre des classes se produit lorsqu’un résultat dépasse largement un autre – comme 99,9 % de transactions légitimes contre 0,1 % de fraude – ce qui incite les modèles à ignorer cette classe rare mais importante.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Le rééchantillonnage rééquilibre les données d'entraînement afin que le modèle apprenne réellement à repérer la minorité.
Plongée profonde
Lorsque les classes sont asymétriques, un modèle peut atteindre une précision de 99,9 % en prédisant toujours la majorité et en ne détectant jamais une seule fraude, ce qui est inutile. Le rééchantillonnage corrige la répartition de la formation de deux manières principales. Le suréchantillonnage duplique ou synthétise les exemples minoritaires – la technique classique SMOTE (Synthetic Minority Over-sampling Technique) crée de nouveaux points en interpolant entre un échantillon minoritaire et ses voisins minoritaires les plus proches plutôt que de les copier. Le sous-échantillonnage élimine à la place les exemples majoritaires (au hasard ou intelligemment via des méthodes telles que les liens Tomek ou NearMiss) pour égaliser les choses, au prix de la suppression des données. Les alternatives qui évitent de toucher aux données incluent la pondération des classes (pénalisant davantage les erreurs minoritaires dans la fonction de perte) et l'ajustement du seuil de décision après la formation.
Mise en œuvre dans le monde réel
Former un détecteur de fraude par carte de crédit où la fraude véritable représente bien moins de 1 % des transactions, en utilisant SMOTE pour amplifier les cas de fraude rares
Construire un modèle médical pour une maladie rare présente chez seulement quelques pour cent des patients, en appliquant des pondérations de classe afin que les cas manqués soient lourdement pénalisés
Détection des articles défectueux sur une chaîne de fabrication où presque tous les produits passent l'inspection, en sous-échantillonnant les « bons » articles pour équilibrer la formation
Signalement des intrusions réseau rares dans les journaux de cybersécurité dominés par le trafic normal, évalués avec Precision-Recall AUC au lieu de la précision
L’avenir du déséquilibre des classes et du rééchantillonnage
Le rééchantillonnage est de plus en plus automatisé dans les pipelines ML, avec des bibliothèques comme déséquilibred-learn s'intégrant directement dans la validation croisée. La recherche s'oriente vers un apprentissage sensible aux coûts et des fonctions de perte personnalisées, telles que la perte focale, qui minimise les exemples majoritaires faciles, qui surpassent souvent le rééchantillonnage brut sur les réseaux profonds. Pour les données tabulaires et images, les modèles génératifs qui synthétisent des échantillons minoritaires réalistes apparaissent comme un successeur plus sophistiqué de l'interpolation de style SMOTE.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Class Imbalance and Resampling quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que le déséquilibre de classe et le rééchantillonnage ?
Le déséquilibre de classe se produit lorsqu’un résultat dépasse largement un autre – comme 99,9 % de transactions légitimes contre 0,1 % de fraude – ce qui incite les modèles à ignorer cette classe rare mais importante. Le rééchantillonnage rééquilibre les données d'entraînement afin que le modèle apprenne réellement à repérer la minorité.
Pourquoi la simple précision est-elle une mauvaise mesure pour un problème de classification très déséquilibré ?
Si 99,9 % des cas sont négatifs, un modèle qui prédit toujours le négatif obtient une précision de 99,9 % tout en détectant zéro positif, de sorte que la précision cache un échec total sur la classe rare.
Que fait SMOTE ?
SMOTE (Synthetic Minority Over-sampling Technique) crée de nouveaux exemples minoritaires en interpolant entre un point minoritaire et ses voisins minoritaires les plus proches, plutôt que de simplement les dupliquer.
Quelle approche gère le déséquilibre SANS modifier le nombre d’exemples de formation ?
La pondération des classes laisse les données intactes et fait en sorte que la fonction de perte pénalise plus lourdement les erreurs sur la classe minoritaire.
Quel est le principal risque lié à l’application d’un suréchantillonnage avant de diviser vos données en ensembles d’entraînement et de test ?
Le rééchantillonnage avant la scission laisse apparaître des points minoritaires presque identiques dans les ensembles de train et de test, ce qui entraîne des fuites d'informations et produit des performances trop optimistes et irréalistes.
Quel est le principal inconvénient du sous-échantillonnage aléatoire ?
Le sous-échantillonnage équilibre les classes en supprimant les exemples majoritaires, ce qui peut éliminer les données informatives et nuire à la capacité du modèle à apprendre la classe majoritaire.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet