Il prossimoProssima guida
Ottimizzazione dei costi del cloud per carichi di lavoro ML
Tecnico
GUIDA TECNICA
L'ottimizzazione bayesiana ricerca impostazioni iperparametriche forti inserendo un surrogato probabilistico nelle prove completate e utilizzando una regola di acquisizione per scegliere la valutazione successiva.
Ascolta questa guidaNarrato dall'IA · ~3 min
Può utilizzare budget di valutazione costosi in modo più strategico rispetto a una griglia esaustiva, ma i risultati dipendono dallo spazio di ricerca, dal surrogato, dal rumore e dalla progettazione di convalida.
L'ottimizzazione degli iperparametri ricerca impostazioni quali velocità di apprendimento, profondità dell'albero o forza di regolarizzazione. La ricerca in griglia valuta un insieme di combinazioni fisse; impostazioni dei campioni di ricerca casuale senza adattarsi ai risultati. L'ottimizzazione bayesiana crea un modello surrogato della relazione sconosciuta tra impostazioni e prestazioni di convalida, quindi utilizza una funzione di acquisizione per decidere quale configurazione valutare successivamente. Ciò può essere utile quando ogni valutazione è costosa e lo spazio di ricerca è gestibile. Un surrogato comune è un processo gaussiano, che prevede sia la prestazione media che l’incertezza per le impostazioni dei candidati. Regole di acquisizione come il miglioramento atteso, la probabilità di miglioramento o un limite superiore di fiducia compromettono lo sfruttamento di contesti che sembrano promettenti con l’esplorazione di regioni incerte. Il surrogato viene aggiornato dopo ogni valutazione. Altri surrogati, inclusi i modelli basati su alberi, possono gestire spazi o caratteristiche di scala diversi. Supponiamo che un ipotetico esperimento abbia solo sei esecuzioni di addestramento rimanenti. Un surrogato può suggerire un'impostazione vicina al migliore attuale testando allo stesso tempo una regione con elevata incertezza. Questo è più adattivo rispetto alla valutazione di sei punti della griglia preselezionati, ma non garantisce un risultato ottimale a livello globale. Limiti di ricerca inadeguati, punteggi di validazione rumorosi o un surrogato specificato in modo errato possono portare a suggerimenti deboli. L'obiettivo dovrebbe riflettere la distribuzione e utilizzare dati di convalida separati dal set di test finale. Per le serie temporali, preservare l'ordine temporale; per i dati raggruppati, mantenere le entità separate ove appropriato. La messa a punto ripetuta del set di test trasforma le informazioni da quel set in scelte e rende ottimistiche le prestazioni finali. L'ottimizzazione degli iperparametri può anche adattarsi eccessivamente a un criterio di validazione rumoroso, soprattutto dopo molte prove. Tieni traccia di tutte le valutazioni, i semi casuali e le decisioni di arresto. Confrontare con una linea di base ragionevole, valutare la variabilità ed eseguire la valutazione finale una volta selezionata la configurazione. L'ottimizzazione bayesiana è una strategia di ricerca, non un sostituto di una solida progettazione sperimentale o di un calcolo sufficiente.
Un modello di immagine ipotetico ha una velocità di apprendimento e una forza di regolarizzazione da ottimizzare e ogni esecuzione completa dell'addestramento richiede ore. L'ottimizzazione bayesiana adatta un surrogato ai punteggi di validazione osservati e propone un'altra impostazione promettente.
Una regola di acquisizione del miglioramento atteso bilancia le impostazioni che si prevede funzioneranno bene con quelle in cui l’incertezza lascia spazio a miglioramenti.
Un team utilizza dati di convalida nidificati o separati per la selezione degli iperparametri e riserva un set di test finale per una valutazione una tantum, evitando ottimizzazioni ripetute rispetto ai risultati dei test.
Un analista ripete l'ottimizzazione con diversi semi casuali e riporta la gamma di risultati, poiché una singola sequenza di prove può dipendere da campioni iniziali e da risultati di addestramento rumorosi.
La ricerca degli iperparametri può essere più riproducibile quando i team pubblicano intervalli di ricerca, scelte surrogate e di acquisizione, budget di prova, suddivisioni di convalida e variabilità tra le esecuzioni. Dovrebbero confrontare la configurazione selezionata con una linea di base e distinguere le prestazioni di ottimizzazione dal risultato finale del test. Per obiettivi rumorosi, semi ripetuti o aggregazione robusta possono impedire a una prova fortunata di dominare. Con l’aumento dei costi di formazione dei modelli, le valutazioni multi-fidelity possono selezionare i candidati a basso costo prima delle corse complete, ma i cambiamenti di fidelizzazione dovrebbero essere convalidati. Un registro di ricerca rende rivedibile il processo di ottimizzazione e aiuta i team successivi a scoprire quali regioni sono state effettivamente esplorate.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'ottimizzazione bayesiana ricerca impostazioni iperparametriche forti inserendo un surrogato probabilistico nelle prove completate e utilizzando una regola di acquisizione per scegliere la valutazione successiva. Può utilizzare budget di valutazione costosi in modo più strategico rispetto a una griglia esaustiva, ma i risultati dipendono dallo spazio di ricerca, dal surrogato, dal rumore e dalla progettazione di convalida.
Il surrogato prevede il comportamento oggettivo e l'incertezza dalle valutazioni completate.
La regola di acquisizione assegna un punteggio alle impostazioni del candidato utilizzando il surrogato posteriore per selezionare la prova successiva.
Il miglioramento atteso valuta i candidati in base al potenziale di battere il miglior risultato osservato, tenendo conto dell'incertezza predittiva.
L'utilizzo ripetuto delle prestazioni del test per guidare le scelte lo rende parte del processo di ottimizzazione e influenza la valutazione finale.
L'ottimizzazione ricerca solo i limiti e le categorie definiti, quindi i limiti scadenti limitano le scelte utili.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Ottimizzazione dei costi del cloud per carichi di lavoro ML
Tecnico