Il prossimoProssima guida
Inferenza batch e inferenza in tempo reale
Tecnico
GUIDA TECNICA
La normalizzazione batch è una tecnica che ridimensiona gli input a ciascun livello di una rete neurale durante l'addestramento, rendendo l'addestramento delle reti profonde più rapido e affidabile.
Ascolta questa guidaNarrato dall'IA · ~2 min
It became one of the most widely used tricks in deep learning.
Man mano che i dati fluiscono attraverso una rete profonda, la distribuzione dei valori che alimenta ciascun livello continua a cambiare man mano che i livelli precedenti si aggiornano, il che rallenta e destabilizza l'addestramento. La normalizzazione batch, introdotta da Ioffe e Szegedy nel 2015, risolve questo problema normalizzando gli input di ciascun livello nel mini-batch corrente in modo che abbiano media e varianza unitaria approssimativamente pari a zero. Quindi applica due parametri apprendibili, gamma e beta, che consentono alla rete di ridimensionare e spostare indietro i valori normalizzati se ciò aiuta, quindi non perde alcun potere rappresentativo. Il vantaggio è ampio: le reti tollerano tassi di apprendimento più elevati, convergono in meno epoche, sono meno sensibili all’inizializzazione del peso e spesso generalizzano un po’ meglio. Il problema è che il comportamento dipende dalle statistiche dei batch, quindi batch molto piccoli possono renderlo instabile.
Inserimento di livelli di norme batch in un classificatore di immagini ResNet in modo che possa addestrarsi con un tasso di apprendimento più elevato e convergere in molte meno epoche.
Stabilizzare la formazione di una rete convoluzionale profonda per l'imaging medico che in precedenza divergeva senza normalizzazione.
Riduzione della sensibilità all'inizializzazione del peso in una CNN personalizzata, in modo che gli ingegneri trascorrano meno tempo nella regolazione manuale dei valori iniziali.
Passaggio dalle statistiche batch in modalità training alle medie correnti archiviate durante la distribuzione di un modello in modo che le previsioni relative a una singola immagine rimangano coerenti.
La normalizzazione batch rimane un cavallo di battaglia nei modelli di visione convoluzionale, ma la sua dipendenza dalle statistiche batch è scomoda per reti ricorrenti, batch di piccole dimensioni e training distribuito. Ciò ha portato all’adozione di alternative come la normalizzazione dei livelli, che normalizza tutte le funzionalità all’interno di un singolo esempio e ora domina le architetture dei trasformatori, oltre alla normalizzazione di gruppi e istanze per domini specifici. La ricerca continua su reti prive di normalizzazione che ne eguagliano i vantaggi attraverso un'accurata inizializzazione e scalabilità. Aspettatevi che la normalizzazione rimanga essenziale, con la variante specifica scelta per adattarsi all'architettura.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La normalizzazione batch è una tecnica che ridimensiona gli input a ciascun livello di una rete neurale durante l'addestramento, rendendo l'addestramento delle reti profonde più rapido e affidabile. È diventato uno dei trucchi più utilizzati nel deep learning.
La norma batch standardizza gli input di un livello utilizzando la media e la varianza calcolate nel mini-batch corrente, mantenendo le attivazioni in un intervallo stabile man mano che l'addestramento procede.
Dopo la normalizzazione a media zero e varianza unitaria, gamma e beta consentono alla rete di ridimensionare e spostare nuovamente i valori se ciò è vantaggioso, quindi la normalizzazione non limita ciò che lo strato può rappresentare.
Mantenendo gli input dei livelli ben scalati, la norma batch consente alle reti di addestrarsi con velocità di apprendimento maggiori, convergere più rapidamente ed essere meno sensibili all'inizializzazione.
L'utilizzo delle statistiche batch in tempo reale durante l'inferenza farebbe dipendere una previsione da quali altri esempi condividono il batch. Invece, la norma batch utilizza medie correnti fisse memorizzate durante l'addestramento.
La norma del batch dipende dalla stima della media e della varianza del batch. Con pochissimi esempi, queste stime sono rumorose e possono destabilizzare la formazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Inferenza batch e inferenza in tempo reale
Tecnico