Il prossimoProssima guida
Messa a punto delle armature con i livellatori
Tecnico
GUIDA TECNICA
Gli iperparametri sono le impostazioni scelte prima dell'addestramento, come la velocità di apprendimento o le dimensioni del modello, che il modello non apprende da solo.
Ascolta questa guidaNarrato dall'IA · ~2 min
Tuning them well is often the difference between a mediocre model and a great one.
I parametri del modello (i pesi) vengono appresi dai dati durante l'addestramento. Gli iperparametri sono diversi: sono le manopole impostate in anticipo che regolano il modo in cui avviene l'apprendimento, come la velocità di apprendimento, la dimensione del batch, il numero di livelli, la forza della regolarizzazione e la durata dell'addestramento. Non possono essere ottimizzati direttamente mediante la discesa del gradiente, quindi si cercano valori validi addestrando molti modelli candidati e confrontandoli su un set di convalida. L'approccio più semplice è la ricerca su griglia, provando ogni combinazione su una griglia predefinita, ma si adatta terribilmente. La ricerca casuale spesso trova buone impostazioni più velocemente campionando le combinazioni. L'ottimizzazione bayesiana più avanzata crea un modello probabilistico in cui le impostazioni sembrano promettenti e concentra la ricerca lì. Il tasso di apprendimento è solitamente il singolo iperparametro di maggior impatto da ottenere correttamente.
Analisi dei tassi di apprendimento su diversi ordini di grandezza per trovare il valore in cui una rete si addestra velocemente senza divergere.
Utilizzo della ricerca casuale per ottimizzare la profondità degli alberi, il numero di alberi e il tasso di apprendimento per un modello di potenziamento del gradiente su dati tabulari.
Esecuzione dell'ottimizzazione bayesiana per ottimizzare congiuntamente la forza di regolarizzazione e le dimensioni del batch per una rete profonda con un budget GPU limitato.
Applicando Hyperband per addestrare brevemente dozzine di configurazioni, quindi assegnando più epoche solo ai sopravvissuti più promettenti.
L'ottimizzazione manuale e basata su griglia sta lasciando il posto all'apprendimento automatico automatizzato (AutoML) e alla ricerca più intelligente come l'ottimizzazione bayesiana e Hyperband, che utilizzano l'elaborazione in modo molto più efficiente. Man mano che i modelli di base crescono, la riqualificazione completa per prova diventa proibitivamente costosa, quindi l’attenzione si sta spostando su proxy più economici, leggi di scalabilità che prevedono buone impostazioni da piccole tirature e messa a punto di adattatori leggeri invece di interi modelli. Aspettatevi che l'ottimizzazione diventi sempre più automatizzata e rispettosa del budget, con strumenti che scambiano esplicitamente i costi di ricerca con i guadagni attesi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Gli iperparametri sono le impostazioni scelte prima dell'addestramento, come la velocità di apprendimento o le dimensioni del modello, che il modello non apprende da solo. Accordarli bene è spesso la differenza tra un modello mediocre e uno eccezionale.
I pesi (parametri) vengono appresi dai dati durante l'allenamento. Gli iperparametri, come la velocità di apprendimento o il numero di livelli, vengono scelti in anticipo e controllano il modo in cui procede la formazione.
Il tasso di apprendimento influenza fortemente se e quanto velocemente un modello converge. Troppo alto e la formazione diverge; troppo basso e striscia o si blocca.
La ricerca a griglia spreca prove su dimensioni non importanti. La ricerca casuale esplora lo spazio in modo più efficiente e spesso raggiunge buone configurazioni con meno prove.
L'ottimizzazione bayesiana modella la relazione tra configurazioni e punteggi di validazione, quindi seleziona la prova successiva per bilanciare l'esplorazione di regioni incerte con lo sfruttamento di quelle promettenti.
L'ottimizzazione sceglie le impostazioni che si adattano meglio a qualsiasi dato valutato. Se questo è il set di test, le prestazioni riportate sono gonfiate. L'ottimizzazione utilizza invece un set di convalida separato.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Messa a punto delle armature con i livellatori
Tecnico