Perte de Huber et régression robuste

La régression par erreur quadratique pénalise un résidu proportionnellement à son carré, de sorte qu'un résidu extrême peut dominer l'objectif. La perte de Huber utilise l'erreur quadratique lorsque le résidu absolu est inférieur à un seuil choisi et une pénalité linéaire au-delà de celui-ci. Proche de zéro, le comportement quadratique lisse se comporte comme les moindres carrés. Pour les erreurs importantes, la pénalité augmente plus lentement, ce qui limite la force avec laquelle un cas extrême tire l'ajustement. La transition est continue, bien que les implémentations puissent définir différemment les constantes de mise à l'échelle. Cette perte est utile lorsque les observations ordinaires se comportent à peu près bien mais que quelques résidus importants ne devraient pas contrôler l'estimation. Il n’identifie pas automatiquement les mauvaises données et ne crée pas un modèle robuste à tous les problèmes. Un résidu extrême peut résulter d'un événement rare valide, d'un prédicteur omis, d'une forme fonctionnelle erronée ou d'un problème de mesure. Enquêtez sur ces cas avant de décider qu’une sous-pondération est appropriée. D'autres approches robustes se comportent différemment. RANSAC ajuste à plusieurs reprises les modèles candidats à des sous-ensembles, classe les observations comme valeurs initiales ou valeurs aberrantes sous un seuil résiduel et sélectionne un modèle avec un fort consensus. Cela peut fonctionner lorsqu’un ensemble substantiel d’observations suit une relation et que la contamination est prononcée, mais cela dépend de l’échantillonnage du sous-ensemble et des choix de seuils. Theil-Sen combine les estimations de sous-ensembles et peut être moins sensible à certaines valeurs aberrantes. Ni l’un ni l’autre ne remplace universellement la compréhension du domaine. Comparez les méthodes sur les données d’évaluation qui reflètent l’utilisation réelle. Si des erreurs extrêmes sont importantes sur le plan opérationnel, signalez les performances de queue plutôt que seulement une perte de formation importante. Ajustez les seuils dans les données d’entraînement, inspectez les résidus et évaluez la stabilité. Un ajustement robuste peut améliorer la résistance aux points anormaux tout en modifiant les cas qui pilotent le modèle. Il ne corrige pas l’effet de levier dû aux valeurs de prédicteurs inhabituelles dans chaque contexte, ni ne répare le changement de distribution. Expliquez quelles erreurs la méthode choisie minimise et pourquoi cela correspond à la décision.