Lasso et régression nette élastique

Les moindres carrés ordinaires choisissent des coefficients pour minimiser les erreurs de prédiction quadratiques. Lasso modifie cet objectif en ajoutant une pénalité proportionnelle à la somme des grandeurs absolues des coefficients. La pénalité encourage le retrait, et comme la pénalité en valeur absolue a un coin à zéro, certains coefficients ajustés peuvent devenir exactement nuls. Cela crée un modèle clairsemé qui peut être plus facile à stocker ou à inspecter. La rareté ne prouve pas que les prédicteurs retenus sont causals ou particulièrement importants. Le filet élastique combine la pénalité L1 avec une pénalité L2 au carré. Son paramètre de mélange contrôle l'équilibre : le point final pur L1 est le lasso, tandis que le point final pur L2 est la crête dans les paramétrages courants. La partie L2 peut aider à partager le poids entre les prédicteurs corrélés au lieu d’en conserver arbitrairement un et d’éliminer le reste. Le paramètre de résistance globale contrôle le retrait appliqué. Les conventions exactes des paramètres logiciels diffèrent, alors lisez la documentation de la bibliothèque. Considérons un modèle hypothétique avec deux mesures de sensibilisation presque interchangeables. Le lasso peut conserver l'un et mettre à zéro l'autre ; de petits changements dans l’échantillon de formation pourraient inverser ce choix. Le filet élastique peut retenir les deux avec des coefficients réduits. L’un ou l’autre comportement peut être utile selon que l’objectif est la compacité, la stabilité de la prédiction ou l’interprétabilité. Si le résultat est mesuré sur des échelles très différentes ou si les caractéristiques utilisent des unités différentes, l'effet de la pénalité est inégal à moins qu'un prétraitement soit approprié. Choisissez les paramètres de pénalité en utilisant la validation croisée dans les données d'entraînement, en gardant l'ensemble de test final intact jusqu'à ce que la sélection du modèle soit terminée. La mise à l'échelle, l'imputation et la sélection des fonctionnalités doivent être installées séparément à l'intérieur de chaque pli d'entraînement pour éviter les fuites. Pour les données temporelles, utilisez des fractionnements qui respectent la chronologie. Évaluez les performances prédictives et inspectez la stabilité des coefficients sur des rééchantillonnages raisonnables. Le lasso et le filet élastique sont des outils de prédiction linéaire régularisée ; ils ne corrigent pas une mauvaise forme fonctionnelle, des données biaisées ou une inadéquation entre la population formée et l'utilisation prévue.