Overfitting e Underfitting
L'overfitting si verifica quando un modello memorizza i suoi dati di addestramento e fallisce su nuovi esempi; l'underfitting si verifica quando è troppo semplice catturare il modello reale.
Panoramica
Hitting the sweet spot between them is the central challenge of machine learning.
Immersione profonda
Ogni modello è adatto a un set di addestramento finito, ma l'obiettivo è ottenere buone prestazioni su dati invisibili. Un modello overfit tratta il rumore e le stranezze del set di addestramento come se fossero un segnale reale: potrebbe ottenere un punteggio del 99% sui dati di addestramento ma crollare al 70% su un set di test. Un modello inadeguato è il problema opposto, troppo rigido per catturare la struttura sottostante, quindi funziona male sia sui dati di training che di test. Il divario tra allenamento e prestazione nei test è il segno rivelatore. L'underfitting si manifesta ovunque con un errore elevato (distorsione elevata); il sovradattamento si presenta come un errore di addestramento basso ma un errore di test elevato (varianza elevata). L'abilità sta nel riconoscere quale problema hai, perché le soluzioni vanno in direzioni opposte.
Approfondimento tecnico
Overfitting e underfitting sono le due estremità del compromesso bias-varianza. Il bias è un errore derivante da presupposti eccessivamente semplificati; la varianza è un errore derivante dall'essere troppo sensibili allo specifico campione di addestramento. Un modello lineare minuscolo ha una distorsione elevata e una varianza bassa (sottodimensionamento); un modello enorme e non vincolato ha una distorsione bassa e una varianza elevata (overfitting). L'errore totale previsto si scompone approssimativamente come bias quadrato più varianza più rumore irriducibile. I professionisti rilevano il problema confrontando la precisione del set di addestramento con un set di validazione, osservando dove divergono le due curve.
Impatto strategico
Decisioni più chiare
Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
Costo e budget
Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
Team e flusso di lavoro
I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.
Il futuro dell’overfitting e dell’underfitting
Questi concetti rimangono fondamentali, ma le reti neurali molto grandi hanno complicato il quadro classico. I modelli moderni possono avere molti più parametri rispetto ai punti dati e tuttavia generalizzarsi bene, un regime sorprendente a volte chiamato "doppia discesa" in cui l'errore del test diminuisce nuovamente dopo il picco di overfitting. La ricerca si concentra sempre più sul motivo per cui i modelli sovraparametrizzati si generalizzano, sul ruolo della regolarizzazione implicita negli ottimizzatori e su un migliore rilevamento automatizzato dello spostamento della distribuzione. Aspettatevi una diagnostica più completa che segnali l'overfitting nella produzione mentre i dati del mondo reale si allontanano dai dati di addestramento.
Implementazione nel mondo reale
Un filtro antispam che contrassegna ogni email contenente il nome di un mittente specifico perché quel mittente ha inviato molto spam nei dati di addestramento, perdendo completamente i nuovi spammer (overfitting).
Un modello di prezzo delle case che utilizza solo la metratura e ignora l’ubicazione, le camere da letto e le condizioni, quindi fallisce gravemente nei quartieri costosi (sottodimensionamento).
Un classificatore di immagini mediche che impara a rilevare la filigrana dello scanner di un ospedale invece della malattia e fallisce in altri ospedali (adattandosi eccessivamente a una caratteristica spuria).
Tracciare la perdita di addestramento rispetto alla perdita di convalida durante l'addestramento e fermarsi quando la perdita di convalida inizia ad aumentare mentre la perdita di addestramento continua a diminuire (intercettando anticipatamente l'overfitting).
Rischi e guardrail
Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.
Tabella di marcia per l'implementazione
Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
Scegli una metrica di successo e una condizione di fallimento prima del test.
Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
Documentare dove l'overfitting e l'underfitting aiutano e dove i metodi più semplici sono migliori.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Propagazione all'indietro
Domande frequenti
What is Overfitting and Underfitting?
L'overfitting si verifica quando un modello memorizza i suoi dati di addestramento e fallisce su nuovi esempi; l'underfitting si verifica quando è troppo semplice catturare il modello reale. Trovare il punto giusto tra loro è la sfida centrale del machine learning.
Un modello ottiene un punteggio del 98% sui dati di addestramento, ma solo del 71% su un set di test prolungato. Qual è il problema più probabile?
Un ampio divario in cui l'accuratezza dell'addestramento è elevata ma l'accuratezza del test è molto inferiore è la classica firma dell'overfitting: il modello adatta il rumore nei dati di addestramento piuttosto che il modello generale.
Quale scenario descrive meglio l’underfitting?
Un modello inadeguato è troppo semplice per catturare il modello sottostante, quindi funziona male ovunque, compresi i dati su cui è stato addestrato.
Nel compromesso bias-varianza, a quale risultato è maggiormente associata una varianza elevata?
Una varianza elevata significa che il modello cambia molto a seconda degli esatti dati di addestramento che vede, il che porta a un adattamento eccessivo. Il bias elevato è l’estremità opposta, eccessivamente semplificata.
Un modello di prestito predefinito utilizza solo l'età del richiedente e ignora il reddito, il debito e la storia creditizia. Funziona male sia con l'addestramento che con i nuovi dati. Cosa dovresti fare?
Scarse prestazioni ovunque segnalano un adattamento inadeguato. La soluzione consiste nell'aumentare la capacità del modello, spesso aggiungendo funzionalità informative, in modo che possa rappresentare la vera relazione.
Perché una validazione ritardata o un set di test è essenziale per rilevare il sovradattamento?
L’overfitting è invisibile se si considera solo la precisione dell’allenamento. La valutazione su dati invisibili espone il divario tra memorizzazione e genuina generalizzazione.