Il prossimoProssima guida
Il compromesso tra spiegabilità e accuratezza
Fondamenti
GUIDA AI FONDAMENTALI
Il compromesso bias-varianza spiega perché un modello può fallire perché è troppo semplice o troppo complesso.
Ascolta questa guidaNarrato dall'IA · ~2 min
It's the central tension behind underfitting versus overfitting, and getting it right determines whether your model generalizes to new data.
Ogni errore di previsione commesso da un modello può essere suddiviso in tre parti: bias, varianza e rumore irriducibile. Il bias è un errore derivante da presupposti errati: un modello troppo semplice per catturare il modello reale, come adattare una linea retta a una curva (underfitting). La varianza è l'errore derivante dalla sensibilità al campione di addestramento specifico: un modello così flessibile da memorizzare stranezze e rumore (overfitting). Il problema è che abbassando uno si tende ad alzare l’altro. Un polinomio di alto grado riduce i pregiudizi, ma le sue previsioni oscillano notevolmente con ogni nuovo set di dati. L'obiettivo non è eliminare nessuno degli errori, ma trovare il punto ottimale in cui la loro somma (l'errore totale previsto sui dati invisibili) è più piccola.
Scelta della profondità di un albero decisionale: un albero poco profondo si adatta in modo insufficiente (bias elevato), un albero molto profondo memorizza le righe di addestramento (varianza elevata), quindi si regola la profondità tramite errore di convalida.
Impostazione della forza di regolarizzazione (lambda) nella regressione ridge o lazo per scambiare un piccolo aumento del bias con un grande calo della varianza e una migliore accuratezza del test.
Utilizzo di foreste casuali, che calcolano la media di molti alberi decorrelati ad alta varianza per ridurre la varianza complessiva senza gonfiare molto la distorsione.
Scegliere il numero di vicini k in k-NN: k=1 ha una varianza elevata e segue il rumore, mentre un k molto grande attenua eccessivamente e aggiunge distorsione.
Il deep learning ha complicato la storia classica. I ricercatori hanno osservato una "doppia discesa", in cui l'errore del test prima aumenta, poi diminuisce di nuovo man mano che le reti massicciamente sovraparametrizzate crescono oltre la soglia di interpolazione, apparentemente sfidando la curva a U. Capire perché i modelli enormi si generalizzano nonostante un errore di addestramento prossimo allo zero è una frontiera di ricerca attiva, legata alla regolarizzazione implicita da parte di ottimizzatori come SGD. I professionisti si affidano sempre più alla messa a punto empirica, alle leggi di scala e alle curve di validazione piuttosto che al solo compromesso dei libri di testo.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il compromesso bias-varianza spiega perché un modello può fallire perché è troppo semplice o troppo complesso. È la tensione centrale dietro l'underfitting rispetto all'overfitting e farlo bene determina se il tuo modello si generalizza a nuovi dati.
Una varianza elevata si presenta come un ampio divario tra prestazioni di allenamento eccellenti e prestazioni di test scarse: il modello ha memorizzato i dati di allenamento.
In the classic account, greater flexibility can reduce bias while increasing sensitivity to the sample. The guide also describes double descent, so this is not a universal monotonic law.
The supplied bias term is already squared. Add the three components: 2 + 3 + 1 = 6.
The guide describes averaging high-variance, de-correlated trees as a way to reduce ensemble variance.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Il compromesso tra spiegabilità e accuratezza
Fondamenti