Regressione con lazo e rete elastica

I minimi quadrati ordinari scelgono i coefficienti per ridurre al minimo gli errori di previsione al quadrato. Lasso modifica tale obiettivo aggiungendo una penalità proporzionale alla somma delle grandezze dei coefficienti assoluti. La penalità incoraggia la contrazione e poiché la penalità in valore assoluto ha un angolo a zero, alcuni coefficienti adattati possono diventare esattamente zero. Ciò crea un modello sparso che potrebbe essere più semplice da archiviare o ispezionare. La scarsità non è una prova che i predittori ritenuti siano causali o unicamente importanti. La rete elastica combina la penalità di L1 con una penalità di L2 quadrata. Il suo parametro di miscelazione controlla l'equilibrio: il punto finale L1 puro è lazo, mentre il punto finale L2 puro è cresta nelle parametrizzazioni comuni. La parte L2 può aiutare a condividere il peso tra predittori correlati invece di conservarne arbitrariamente uno e scartare il resto. Il parametro di resistenza generale controlla la quantità di ritiro applicata. Le convenzioni esatte sui parametri software differiscono, quindi leggere la documentazione della libreria. Consideriamo un modello ipotetico con due misure di sensibilizzazione quasi intercambiabili. Il lazo può mantenere l'uno e azzerare l'altro; piccole modifiche al campione di addestramento potrebbero invertire tale scelta. La rete elastica può trattenerli entrambi con coefficienti ridotti. Entrambi i comportamenti possono essere utili a seconda che l'obiettivo sia la compattezza, la stabilità della previsione o l'interpretabilità. Se il risultato viene misurato su scale molto diverse o le funzionalità utilizzano unità diverse, l'effetto della penalità non è uniforme a meno che non sia appropriata la preelaborazione. Scegli le impostazioni delle penalità utilizzando la convalida incrociata all'interno dei dati di training, mantenendo intatto il set di test finale fino al completamento della selezione del modello. La scalatura, l'imputazione e la selezione delle caratteristiche devono essere montate separatamente all'interno di ciascuna piega di formazione per evitare perdite. Per i dati dipendenti dal tempo, utilizzare suddivisioni che rispettino la cronologia. Valutare le prestazioni predittive e ispezionare la stabilità dei coefficienti su campioni ragionevoli. Lazo e rete elastica sono strumenti per la previsione lineare regolarizzata; non correggono una forma funzionale errata, dati distorti o una discrepanza tra la popolazione addestrata e l'uso previsto.