Validation croisée
La validation croisée est une technique de rééchantillonnage permettant d'estimer dans quelle mesure un modèle se généralisera à des données invisibles.
Aperçu
Il fait un meilleur usage de données limitées et donne une estimation des performances plus fiable qu'une seule répartition train/test.
Plongée profonde
Une seule répartition train/test est fragile : le score que vous obtenez dépend fortement des lignes qui ont atterri dans l'ensemble de test. La validation croisée résout ce problème en alternant le rôle de l'ensemble de test. Dans la validation croisée k-fold, vous divisez les données en k plis égaux, vous entraînez sur k-1 d'entre eux, vous évaluez sur le pli retenu et vous répétez k fois afin que chaque ligne soit testée exactement une fois. La moyenne des scores k donne une estimation plus stable ainsi qu'une mesure de variabilité. Les choix courants sont 5 ou 10 plis. Les variantes incluent la stratification k-fold (en préservant les proportions de classe pour les données déséquilibrées), l'exclusion (k est égal au nombre d'échantillons) et les divisions de séries chronologiques qui ne s'entraînent jamais sur l'avenir pour prédire le passé.
Aperçu technique
La validation croisée est la plus puissante pour la sélection de modèles et le réglage des hyperparamètres : vous comparez les configurations en fonction de leur score de validation moyen plutôt que de surajuster à une seule division. Un écueil critique est la fuite de données : tout prétraitement qui « voit » l'ensemble de données dans son ensemble (mise à l'échelle, sélection de caractéristiques, imputation) doit être ajusté à l'intérieur de chaque pli, pas avant la division, sinon votre estimation sera biaisée de manière optimiste. La validation croisée imbriquée sépare le réglage de l'évaluation finale pour éviter cette fuite.
Impact stratégique
Décisions plus claires
Il vous aide à séparer les affirmations techniques claires du langage marketing.
Coût et budget
Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
Équipe et flux de travail
Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
L'avenir de la validation croisée
À mesure que les ensembles de données et les modèles se développent, l'exécution de k cycles de formation complets devient coûteuse, de sorte que les praticiens privilégient de plus en plus un seul grand ensemble de validation pour l'apprentissage en profondeur, tout en réservant la validation croisée aux ensembles de données petits ou tabulaires. Le ML automatisé et des outils tels que GridSearchCV et Optuna de scikit-learn intègrent par défaut la validation croisée dans la recherche d'hyperparamètres. La recherche se poursuit sur des approximations moins coûteuses, des pipelines résistants aux fuites et une validation appropriée des données groupées, hiérarchiques et dépendantes du temps.
Mise en œuvre dans le monde réel
Utilisation d'une validation croisée 5 fois pour comparer la régression logistique, la forêt aléatoire et l'augmentation du gradient avant de s'engager dans un modèle.
Application d'un pli k stratifié sur un ensemble de données de détection de fraude déséquilibré afin que chaque pli conserve à peu près la même proportion de classe rare.
Exécution de GridSearchCV ou RandomizedSearchCV, qui valident de manière croisée chaque combinaison d'hyperparamètres pour sélectionner les meilleurs paramètres.
Utilisation de la validation croisée de séries chronologiques (rolling/forward-chaining) pour évaluer un prévisionniste de stock ou de demande sans formation sur les données futures.
Risques et garde-fous
Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Feuille de route de mise en œuvre
Commencez par une définition en langage simple du résultat dont vous avez besoin.
Choisissez une mesure de réussite et une condition d’échec avant de tester.
Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
Documentez où la validation croisée est utile et où les méthodes plus simples sont meilleures.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cross-Validation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Encodeurs croisés vs bi-encodeurs
Questions fréquemment posées
Qu’est-ce que la validation croisée ?
La validation croisée est une technique de rééchantillonnage permettant d'estimer dans quelle mesure un modèle se généralisera à des données invisibles. Il fait un meilleur usage de données limitées et donne une estimation des performances plus fiable qu'une seule répartition train/test.
Dans la validation croisée standard k-fold, combien de fois chaque point de données est-il utilisé pour les tests ?
Chaque pli sert d'ensemble de test exactement une fois sur les k tours, de sorte que chaque échantillon est testé une seule fois et formé sur le reste.
Quel est le principal avantage de la validation croisée k fois par rapport à une seule répartition train/test ?
En faisant la moyenne sur plusieurs volets, la validation croisée réduit la variance de l'estimation des performances par rapport au recours à une seule répartition arbitraire.
Pourquoi la validation croisée ordinaire k-fold est-elle inappropriée pour la prévision de séries chronologiques ?
Le mélange de données ordonnées dans le temps laisse filtrer l'avenir dans la formation, de sorte que le CV des séries chronologiques utilise des divisions de chaînage avant qui ne s'entraînent que sur les observations passées.