Méthodes de sélection des fonctionnalités

La sélection de fonctionnalités conserve certaines variables d’entrée et en exclut d’autres. Cela diffère de l'extraction de fonctionnalités, qui transforme les entrées en nouvelles représentations, telles que des composants principaux. La sélection peut réduire les coûts de mesure ou d'inférence, simplifier un modèle et parfois améliorer la généralisation lorsque des variables non pertinentes ou redondantes distraient l'apprenant. Cela ne garantit pas une meilleure précision : une variable écartée peut contenir un signal utile, notamment via des interactions. Les méthodes de filtrage notent les variables en utilisant des critères indépendants de l'estimateur final. Les exemples incluent les seuils de variance et les tests univariés ou les informations mutuelles entre une caractéristique et la cible. Ils sont souvent peu coûteux, mais un score univarié peut passer à côté d’une fonctionnalité qui n’a d’importance qu’en combinaison avec une autre. Un filtre de corrélation peut également supprimer l'une des deux entrées redondantes sans savoir laquelle est la plus utile au modèle final. Les méthodes wrapper évaluent les sous-ensembles candidats en ajustant un estimateur. L'élimination récursive des fonctionnalités s'adapte à plusieurs reprises à un modèle, classe les fonctionnalités et en supprime certaines avant de les réadapter. Cela peut refléter le comportement de l'estimateur plus directement qu'un simple filtre, mais un ajustement répété coûte du temps et peut surajuster si la sélection est jugée sur les mêmes données utilisées pour rendre compte des performances. Les méthodes intégrées effectuent la sélection lors de l'ajustement du modèle. Les modèles linéaires régularisés L1 peuvent fixer les coefficients exactement à zéro ; les méthodes arborescentes fournissent des mesures d'importance basées sur la répartition qui peuvent guider la sélection. Ces mesures comportent des hypothèses et des biais et ne doivent donc pas être considérées comme une vérité universelle. Les caractéristiques corrélées peuvent diviser l’importance ou se substituer les unes aux autres. L'ensemble de la procédure de sélection fait partie du processus de formation pour l'évaluation. Si les scores des fonctionnalités sont calculés une fois en utilisant toutes les étiquettes avant la validation croisée, les informations des plis de validation ont déjà influencé le sous-ensemble sélectionné. Cette fuite peut rendre les performances mesurées optimistes. Comparez le pipeline complet, y compris la sélection, en utilisant les divisions appropriées. Gardez à l’esprit les contraintes du domaine, la disponibilité au moment de la prédiction, l’équité et le coût des mesures, ainsi que les scores.