Il prossimoProssima guida
Slurm per cluster di addestramento sull'intelligenza artificiale
Tecnico
GUIDA TECNICA
Checkpoint sharding saves a large model or training state across multiple pieces for manageable storage and loading.
Ascolta questa guidaNarrato dall'IA · ~2 min
A resumable training checkpoint also records the state needed to continue an interrupted run, and restart tests establish what it can restore.
A weight checkpoint contains model parameters; a resumable training checkpoint also needs relevant optimizer, scheduler, step, random-number-generator, and data-loading state. Sharding divides large tensors or state across files and workers so saving and loading can avoid gathering everything on one rank. PyTorch Distributed Checkpoint supports distributed state saving and resharding during loading when supported by the chosen state and configuration. Sharded model weights on the Hugging Face Hub can use an index mapping parameter names to files, but weight shards alone do not capture a training run’s full progress. Applications must include their required state and validate recovery after an interrupted save or a changed environment.
Un modello di frontiera eseguito su migliaia di GPU che salva automaticamente i checkpoint frammentati ogni poche centinaia di passaggi, quindi un singolo nodo guasto costa solo minuti, non giorni.
Hugging Face distribuisce un modello aperto di grandi dimensioni come più frammenti di sicurezza più un file index.json in modo che gli utenti possano scaricarlo e caricarlo pezzo per pezzo.
Un ricercatore riprende una messa a punto interrotta che ripristina l'esatto momento dell'ottimizzatore, il conteggio dei passi e la posizione del caricatore dati per continuare senza problemi.
Formazione su istanze localizzate su GPU cloud prerilasciabili a basso costo, dove frequenti checkpoint frammentati consentono al lavoro di sopravvivere allo sfratto e alla riprogrammazione.
Il checkpoint si sta trasformando da un evento periodico che ferma il mondo a qualcosa di asincrono e quasi gratuito. Aspettatevi più checkpoint in memoria e sovrapposti che scrivano frammenti in background mentre l'addestramento continua, oltre a checkpoint replicati e con codice di cancellazione che sopravvivono ai guasti dei nodi comuni su scala di migliaia di GPU. Gli archivi di oggetti cloud e i livelli NVMe locali più veloci ospiteranno gli shard e i formati standardizzati come i safetensor continueranno a migliorare il caricamento sicuro, veloce e parziale sia per la ripresa dell'addestramento che per la distribuzione dell'inferenza.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Checkpoint sharding saves a large model or training state across multiple pieces for manageable storage and loading. A resumable training checkpoint also records the state needed to continue an interrupted run, and restart tests establish what it can restore.
Checkpoint enormi (centinaia di GB) non sono pratici come un unico file; lo sharding consente a molti ranghi di scrivere le proprie sezioni in parallelo e consente il caricamento a pezzi.
Weight shards alone do not restore optimizer history or the next intended batch. The application must save the required training progress and randomness state.
Con i checkpoint ripristinabili, un'esecuzione interrotta ricarica l'ultimo stato salvato e continua, invece di sprecare giorni di calcolo.
Distributed checkpointing uses local state partitions and metadata. Ordinary replicated data parallelism does not automatically shard every tensor.
Un indice (ad esempio, index.json) registra quale shard contiene ciascun parametro in modo che i caricatori possano recuperare e riassemblare i pezzi giusti.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Slurm per cluster di addestramento sull'intelligenza artificiale
Tecnico