Il prossimoProssima guida
Checkpoint del gradiente
Tecnico
GUIDA TECNICA
Una protezione semplice e ampiamente utilizzata che limita l'ampiezza degli aggiornamenti del gradiente che possono ottenere durante l'allenamento.
Ascolta questa guidaNarrato dall'IA · ~2 min
Impedisce che un singolo grande aggiornamento destabilizzi o distrugga un modello, specialmente nei modelli ricorrenti e linguistici.
Il ritaglio del gradiente limita la dimensione del gradiente prima che l'ottimizzatore lo applichi. La forma più comune è clip-by-norm: si calcola la norma L2 totale di tutti i gradienti e, se supera una soglia scelta, si riduce ogni gradiente dello stesso fattore in modo che la norma sia uguale alla soglia. Ciò preserva la direzione dell'aggiornamento riducendone l'entità. Una variante più semplice, clip-by-value, blocca semplicemente ogni singolo componente del gradiente in un intervallo fisso come [-5, 5], ma può distorcere la direzione dell'aggiornamento. Il ritaglio è essenziale negli RNN e negli LSTM, dove i gradienti esplosivi sono comuni, ed è un ingrediente quasi universale nell'addestramento di modelli linguistici di grandi dimensioni, dove occasionali lotti errati o token rari possono altrimenti produrre picchi di perdite e NaN.
Addestrando un LSTM per la generazione di testo, un ingegnere imposta clipnorm=1.0 in modo che i rari batch che esplodono non facciano deragliare l'apprendimento.
L’addestramento di grandi modelli linguistici viene eseguito quasi universalmente riducendo la norma del gradiente globale (spesso a 1,0) per sopprimere i picchi di perdita.
DP-SGD ritaglia il gradiente di ogni esempio a una norma fissa prima di aggiungere il rumore gaussiano, imponendo una garanzia formale di privacy differenziale.
Un professionista che osserva i picchi di perdita in TensorBoard abbassa la soglia di clip e la curva diventa uniforme e stabile.
Il ritaglio rimane un'impostazione predefinita in quasi tutte le ricette di allenamento su larga scala perché è economico e robusto. La ricerca lo sta perfezionando con schemi adattivi che impostano automaticamente la soglia dalle recenti statistiche del gradiente piuttosto che da un valore fisso regolato manualmente, e con il ritaglio per livello o in base alle coordinate. Il ritaglio del gradiente è anche alla base dell'addestramento differenzialmente privato (DP-SGD), in cui il ritaglio per esempio limita l'influenza di ciascun campione in modo che il rumore calibrato possa garantire la privacy senza che nessun record domini il modello.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Una protezione semplice e ampiamente utilizzata che limita l'ampiezza degli aggiornamenti del gradiente che possono ottenere durante l'allenamento. Impedisce che un singolo enorme aggiornamento destabilizzi o distrugga un modello, specialmente nei modelli ricorrenti e linguistici.
Clip-by-norm ridimensiona tutti i gradienti in base allo stesso scalare, quindi la direzione di discesa viene preservata mentre viene limitata solo la lunghezza del passo.
Quando la norma è troppo grande, ogni gradiente viene riscalato di c / g_norm in modo che la norma risultante sia uguale alla soglia c.
Il ritaglio limita l'entità degli aggiornamenti, prevenendo direttamente i passaggi enormi e instabili causati dall'esplosione dei gradienti.
Il valore di clip blocca ciascun elemento in un intervallo fisso come [-5,5]; poiché i componenti vengono ritagliati in modo indipendente, la direzione generale può cambiare.
Il ritaglio della norma moltiplica tutti i componenti per un fattore condiviso quando la norma totale è troppo grande, limitando l'entità dell'aggiornamento.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Checkpoint del gradiente
Tecnico