Il prossimoProssima guida
Checkpoint del gradiente
Tecnico
GUIDA TECNICA
Quando si addestrano reti profonde, i segnali di errore si riducono verso lo zero o esplodono verso l'infinito mentre viaggiano all'indietro attraverso molti strati.
Ascolta questa guidaNarrato dall'IA · ~2 min
This makes deep and recurrent models painfully slow or impossible to train without specific fixes.
Le reti neurali apprendono attraverso la backpropagation, che moltiplica i gradienti strato per strato utilizzando la regola della catena. Quando si impilano molti livelli, i fattori per livello vengono moltiplicati insieme. Se ciascun fattore è costantemente inferiore a 1, il prodotto si restringe in modo esponenziale e i primi strati si aggiornano a malapena: il problema del gradiente evanescente. Se ciascun fattore è maggiore di 1, il prodotto esplode, producendo enormi aggiornamenti instabili o valori NaN. Le attivazioni saturanti come sigmoide e tanh, i cui derivati raggiungono il massimo a 0,25 e 1, sono i classici colpevoli. Il problema è più grave nelle reti feedforward profonde e nelle reti ricorrenti (RNN) che elaborano lunghe sequenze, dove la stessa matrice di peso viene riapplicata in ogni fase temporale, aggravando drammaticamente l'effetto.
I primi modelli linguistici RNN faticavano a collegare le parole in frasi lunghe perché i gradienti svanivano in molti passaggi temporali, motivando LSTM e GRU.
ResNet ha consentito l'addestramento di oltre 100 classificatori di immagini a livelli aggiungendo connessioni di salto che forniscono ai gradienti un percorso diretto e non diluito all'indietro.
Uno sviluppatore vede la perdita di allenamento diventare improvvisamente NaN (un segno rivelatore di gradienti in esplosione) e aggiunge il ritaglio del gradiente per stabilizzarlo.
Gli strumenti di monitoraggio in PyTorch o TensorFlow tracciano le norme di gradiente per livello in modo che gli ingegneri possano individuare un livello i cui gradienti sono crollati quasi allo zero.
Le mitigazioni principali (connessioni residue (salta), normalizzazione, gating e attenta inizializzazione) sono ora standard, quindi i gradienti evanescenti raramente bloccano l'addestramento delle architetture moderne. I trasformatori evitano completamente la composizione ricorrente concentrando l'attenzione su una sequenza piuttosto che sulla ripetuta riapplicazione di una matrice. La ricerca continua su reti di addestramento profonde migliaia di strati, su modelli stabili a contesto molto lungo e su strumenti teorici come il kernel tangente neurale che prevede la propagazione del segnale prima dell'esecuzione di una singola fase di addestramento.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Quando si addestrano reti profonde, i segnali di errore si riducono verso lo zero o esplodono verso l'infinito mentre viaggiano all'indietro attraverso molti strati. Ciò rende i modelli profondi e ricorrenti estremamente lenti o impossibili da addestrare senza soluzioni specifiche.
La backpropagation applica la regola della catena, moltiplicando insieme molti fattori per strato; i prodotti con valori inferiori a 1 svaniscono e i prodotti superiori a 1 esplodono.
Sigmoid and tanh derivatives can be small in saturated regions; repeated multiplication across depth or time can shrink early-layer gradients.
Un RNN riapplica la stessa matrice di peso ricorrente in ogni passo temporale, quindi su una lunga sequenza l'effetto si compone come l'autovalore di quella matrice aumentato alla lunghezza della sequenza.
I gradienti esplosivi producono enormi aggiornamenti che traboccano all'infinito o al NaN; i gradienti evanescenti causano invece lo stallo della perdita.
Le connessioni salta aggiungono un percorso di identità in modo che i gradienti possano fluire all'indietro senza essere ripetutamente attenuati dagli strati intermedi.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Checkpoint del gradiente
Tecnico