DalšíDalší průvodce
Slurm pro AI Training Clusters
Technický
Technický PRŮVODCE
Checkpoint sharding saves a large model or training state across multiple pieces for manageable storage and loading.
Poslechněte si tento návodAI-vyprávěný · ~2 min
A resumable training checkpoint also records the state needed to continue an interrupted run, and restart tests establish what it can restore.
A weight checkpoint contains model parameters; a resumable training checkpoint also needs relevant optimizer, scheduler, step, random-number-generator, and data-loading state. Sharding divides large tensors or state across files and workers so saving and loading can avoid gathering everything on one rank. PyTorch Distributed Checkpoint supports distributed state saving and resharding during loading when supported by the chosen state and configuration. Sharded model weights on the Hugging Face Hub can use an index mapping parameter names to files, but weight shards alone do not capture a training run’s full progress. Applications must include their required state and validate recovery after an interrupted save or a changed environment.
Hraniční model běží na tisících GPU, který automaticky ukládá rozstříhané kontrolní body každých několik set kroků, takže jeden neúspěšný uzel stojí jen minuty, nikoli dny.
Hugging Face distribuující velký otevřený model jako několik úlomků safetenzorů plus index.json, takže si jej uživatelé mohou stáhnout a načíst kus po kuse.
Výzkumník obnovuje přerušené jemné ladění, které obnovuje přesnou hybnost optimalizátoru, počet kroků a pozici zavaděče dat, aby plynule pokračovalo.
Trénink na místě na levných cloudových GPU s preemptibilní funkcí, kde časté rozstříhané kontrolní body umožňují práci přežít, když je vystěhována a přeplánována.
Checkpointing se posouvá z periodické události zastavení světa k něčemu asynchronnímu a téměř bezplatnému. Očekávejte více kontrolních bodů v paměti a překrývajících se kontrolních bodů, které zapisují útržky na pozadí, zatímco trénink pokračuje, a navíc kódované a replikované kontrolní body, které přežijí selhání uzlů běžná v měřítku tisíců GPU. Úložiště cloudových objektů a rychlejší místní vrstvy NVMe budou hostit fragmenty a standardizované formáty, jako jsou safetensors, budou neustále zlepšovat bezpečné, rychlé a částečné načítání pro obnovení školení i nasazení odvození.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Checkpoint sharding saves a large model or training state across multiple pieces for manageable storage and loading. A resumable training checkpoint also records the state needed to continue an interrupted run, and restart tests establish what it can restore.
Obrovské kontrolní body (stovky GB) jsou nepraktické jako jeden soubor; sharding umožňuje mnoha řadám zapisovat své řezy paralelně a umožňuje načítání po částech.
Weight shards alone do not restore optimizer history or the next intended batch. The application must save the required training progress and randomness state.
S obnovitelnými kontrolními body přerušený běh znovu načte svůj poslední uložený stav a pokračuje, místo aby zahodil dny počítání.
Distributed checkpointing uses local state partitions and metadata. Ordinary replicated data parallelism does not automatically shard every tensor.
Index (např. index.json) zaznamenává, který fragment obsahuje jednotlivé parametry, takže zavaděče mohou načíst a znovu sestavit správné části.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Slurm pro AI Training Clusters
Technický