Qu'est-ce que Référence?

Lorsque des exemples de tests de référence ou des variantes proches sont présents dans les données d'entraînement, cela gonfle les performances déclarées.

Un ensemble de données conservé utilisé pour mesurer la qualité du modèle après la formation.

Un benchmark des problèmes de programmation Python utilisé pour mesurer l'exactitude de la génération de code via des tests unitaires.

Un modèle de référence simple utilisé pour comparer si des approches plus complexes améliorent réellement les résultats.

Une collection d'exemples structurés ou non structurés utilisés pour la formation, la validation ou les tests.

Un ensemble de données utilisé pendant le développement pour affiner les modèles et éviter le surajustement.