Il prossimoProssima guida
Gradienti evanescenti ed esplosivi
Tecnico
GUIDA TECNICA
L'accumulo di gradienti consente di simulare batch di grandi dimensioni su una memoria GPU limitata sommando i gradienti su diversi mini-batch di piccole dimensioni prima di aggiornare i pesi.
Ascolta questa guidaNarrato dall'IA · ~2 min
It is the standard workaround for training big models when memory is the bottleneck.
Normalmente una fase di training elabora un batch, calcola i gradienti e aggiorna immediatamente i parametri. Con l'accumulo del gradiente, si eseguono diversi passaggi avanti e indietro su micro-batch più piccoli, sommando i relativi gradienti nei buffer dei parametri e richiamando il passaggio dell'ottimizzatore (e azzerando i gradienti) solo dopo N micro-batch. La dimensione effettiva del batch diventa la dimensione del micro-batch per N, anche se la memoria di picco contiene sempre e solo un micro-batch di attivazioni. Ciò è importante perché molte ricette di formazione presuppongono lotti di grandi dimensioni per statistiche stabili e perché modelli come i trasformatori di grandi dimensioni non possono contenere un lotto target completo su un singolo dispositivo. Il problema: le statistiche di normalizzazione batch vengono calcolate per micro-batch, quindi la norma di livello o la norma di gruppo si accoppiano meglio con l'accumulo ed è necessario ridimensionare correttamente la perdita per mantenere il giusto tasso di apprendimento effettivo.
Messa a punto di un modello linguistico di grandi dimensioni su una singola GPU consumer accumulando oltre 8 o 16 micro-batch per raggiungere un batch effettivo di centinaia.
Addestramento di modelli di visione o segmentazione ad alta risoluzione in cui si adatta anche un lotto di 2, ma la ricetta richiede un lotto effettivo di 32.
Hugging Face Trainer e PyTorch Lightning espongono un'impostazione gradient_accumulation_steps utilizzata di routine nelle configurazioni con VRAM limitata.
Riproduzione dei risultati di un batch di grandi dimensioni di un documento su hardware più piccolo facendo corrispondere le dimensioni effettive del batch tramite l'accumulo.
L'accumulo del gradiente rimarrà una leva predefinita poiché le dimensioni dei modelli superano la memoria del singolo dispositivo. Si combina sempre più con precisione mista, checkpoint di attivazione, sharding ZeRO e parallelismo della pipeline in framework come DeepSpeed e FSDP. Aspettatevi un'automazione più rigorosa in cui le librerie ottimizzano automaticamente i passaggi di accumulo in base a un budget di memoria e una continua importanza per la messa a punto di modelli di grandi dimensioni su hardware modesto, comprese le GPU consumer, dove sblocca una formazione che sarebbe altrimenti impossibile.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'accumulo di gradienti consente di simulare batch di grandi dimensioni su una memoria GPU limitata sommando i gradienti su diversi mini-batch di piccole dimensioni prima di aggiornare i pesi. È la soluzione alternativa standard per l'addestramento di modelli di grandi dimensioni quando la memoria rappresenta il collo di bottiglia.
Sommando i gradienti su diversi micro-batch prima dell'aggiornamento, si imita un batch di grandi dimensioni senza tenerlo tutto in memoria contemporaneamente.
Accumulate gradients across N micro-batches, call optimizer.step() once for the effective batch, then clear gradients before the next window; begin training with cleared buffers.
La norma batch calcola le statistiche per micro-batch, quindi la norma del livello o del gruppo evita la mancata corrispondenza con piccoli micro-batch.
Batch-dependent forward computations break exact equivalence.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Gradienti evanescenti ed esplosivi
Tecnico