GUIDA TECNICA
Checkpoint del gradiente
Il checkpoint del gradiente (chiamato anche checkpoint di attivazione) è un trucco per risparmiare memoria che elimina la maggior parte delle attivazioni intermedie durante il passaggio in avanti e le ricalcola al volo durante la propagazione all'indietro.
Ascolta questa guidaNarrato dall'IA · ~2 min
In questa pagina2 minuti di lettura
Panoramica
Ti consente di addestrare reti più profonde e più grandi scambiando risorse di calcolo aggiuntive con un utilizzo della memoria molto inferiore.
Immersione profonda
L'allenamento normalmente mantiene le attivazioni intermedie necessarie per la backpropagation. Il checkpoint di attivazione salva i tensori di confine selezionati e ricalcola le attivazioni interne durante la fase di riavvolgimento. Questo scambia calcoli aggiuntivi con un ingombro di memoria di attivazione inferiore; il risparmio effettivo e il sovraccarico in termini di tempo di esecuzione dipendono dal posizionamento del checkpoint, dalle operazioni, dal grafico del modello e dall'hardware. In una catena semplificata di N livelli di dimensioni simili, una pianificazione di un libro di testo con limiti di checkpoint distanziati di circa sqrt(N) livelli può ridurre l'archiviazione di attivazione per ordinare checkpoint sqrt(N), con i costi di ricalcolo regolati da tale pianificazione. Questo esempio asintotico non è una previsione universale per le implementazioni del framework. PyTorch espone utilità di checkpoint di attivazione e le sue linee guida attuali descrivono anche la rimaterializzazione selettiva e le scelte assistite dal compilatore. Può combinarsi con FSDP e precisione mista, ma confronta l'intero carico di lavoro di formazione.
Implementazione nel mondo reale
Addestramento di un trasformatore profondo con dimensioni batch maggiori su una singola GPU scartando e ricalcolando le attivazioni dei livelli.
Ottimizzazione dei modelli di visione su immagini ad alta risoluzione in cui le mappe di attivazione altrimenti traboccherebbero la memoria della GPU.
Hugging Face Transformers abilita gradient_checkpointing=Verissimo per adattarsi a modelli con miliardi di parametri durante la messa a punto.
Combinando il checkpoint con FSDP in modo che sia i parametri che le attivazioni siano mantenuti piccoli, consentendo l'addestramento di modelli linguistici molto ampi.
Il futuro del checkpoint del gradiente
Il checkpoint del gradiente è ora uno standard nell'addestramento di modelli di grandi dimensioni ed è sempre più automatizzato, con le biblioteche che selezionano per te le posizioni ottimali dei checkpoint. Si abbina naturalmente a FSDP, precisione mista e offload per aumentare le dimensioni dei modelli. Aspettatevi checkpoint "selettivi" che ricalcolino solo le operazioni economiche mantenendo nella cache quelle costose (come le matrici di attenzione), oltre ad approcci guidati dal compilatore in strumenti come torch.compile di PyTorch che decidono automaticamente cosa salvare rispetto a ricalcolare per il miglior equilibrio velocità-memoria.
Metterlo in pratica
Perché è importante
- Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
- Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
- Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.
Attenzione
- L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
- I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
- Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.
Prossimi passi
- Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
- Benchmark in condizioni di carico e dati realistiche.
- Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
- Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.
Continua a esplorare
Newsletter gratuita
Ricevi il briefing quotidiano sull'IA
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Rispondi al quiz sul controllo del gradiente
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Domande frequenti
Cos'è il checkpoint del gradiente?
Il checkpoint del gradiente (chiamato anche checkpoint di attivazione) è un trucco per risparmiare memoria che elimina la maggior parte delle attivazioni intermedie durante il passaggio in avanti e le ricalcola al volo durante la propagazione all'indietro. Ti consente di addestrare reti più profonde e più grandi scambiando risorse di calcolo aggiuntive con un utilizzo della memoria molto inferiore.
Cosa viene scambiato principalmente con il checkpoint gradiente per risparmiare memoria?
Il checkpoint del gradiente ricalcola le attivazioni scartate durante il passaggio all'indietro, spendendo ulteriore calcolo in cambio di una memoria sostanzialmente ridotta.
Perché le attivazioni vengono normalmente memorizzate durante il passaggio in avanti?
Backprop calcola i gradienti utilizzando le attivazioni intermedie dal passaggio in avanti, quindi devono essere disponibili a meno che non vengano ricalcolati.
In una catena semplificata di N livelli di dimensioni simili, cosa possono ottenere i limiti dei checkpoint distanziati di circa sqrt(N) livelli nella pianificazione dei libri di testo?
La pianificazione della radice quadrata è un risultato teorico per un grafico di calcolo sequenziale semplificato, non una garanzia di implementazione universale.
Che cosa determina maggiormente il sovraccarico di runtime del checkpoint del gradiente in un modello pratico?
Il sovraccarico del ricalcolo varia in base alla politica del checkpoint e al costo delle operazioni selezionate per il ricalcolo.
In PyTorch, quale utilità viene comunemente utilizzata per applicare il checkpoint del gradiente a un modulo?
torch.utils.checkpoint esegue il wrapper di un modulo in modo che le sue attivazioni interne vengano ricalcolate durante la fase all'indietro invece di essere archiviate.
Continua a imparare
Guide correlate
Altre guide selezionate per questo argomento