DalšíDalší průvodce
Úložiště pro AI Training Clusters
Technický
Technický PRŮVODCE
Slurm je open-source správce pracovní zátěže, který plánuje a spouští úlohy na vysoce výkonných počítačových clusterech, a stal se výchozí volbou pro velká školení AI.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Záleží na tom, protože spolehlivě rozděluje masivní tréninkové běhy mezi tisíce GPU.
Slurm (Simple Linux Utility for Resource Management) vznikl v oblasti superpočítačů a nyní pohání mnoho z největších světových školicích clusterů AI. Uživatelé odesílají dávkové skripty pomocí sbatch, požadují zdroje, jako jsou uzly a GPU, pomocí direktiv, jako je --gres=gpu:8, a fronty Slurm, stanovují priority a spouštějí práci. Its srun launcher spawns coordinated processes across nodes, which pairs naturally with distributed frameworks like PyTorch DDP and NCCL. Slurm tracks resource accounting, enforces fair-share and partition limits, and handles backfill scheduling to slot small jobs into gaps. Při školení hraničních modelů se týmy spoléhají na Slurm při správě tisíců GPU, restartu z kontrolních bodů po selhání uzlů a rezervování vyhrazené kapacity pro dlouhé vícetýdenní běhy.
Hraniční laboratoř spouští několikatýdenní školení na tisících GPU s jediným dávkovým skriptem vyžadujícím stovky uzlů.
Výzkumník předloží 'srun --gres=gpu:8', aby získal osm GPU na jednom uzlu pro experiment PyTorch DDP.
Plánování zálohování vkládá krátkou vyhodnocovací úlohu do nečinných GPU, zatímco velký rezervovaný tréninkový běh čeká na zahájení.
Poté, co uzel selže uprostřed běhu, Slurm znovu zařadí úlohu do fronty a ta pokračuje od posledního kontrolního bodu, místo aby začínala znovu.
Slurm continues to add cloud-bursting, container support via Pyxis and Enroot, and tighter GPU-aware features. Vzhledem k tomu, že se clustery AI rozšiřují na více než 100 000 GPU, očekávejte silnější odolnost proti chybám, integraci automatického restartu kontrolního bodu a elastické úlohy, které po selhání změní velikost. Mnoho organizací nyní provozuje Slurm vedle nebo pod Kubernetes a hybridní plánovače se snaží zkombinovat efektivitu ve stylu HPC s nativní cloudovou flexibilitou pro stále větší běhy školení.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Slurm je open-source správce pracovní zátěže, který plánuje a spouští úlohy na vysoce výkonných počítačových clusterech, a stal se výchozí volbou pro velká školení AI. It matters because it reliably distributes massive training runs across thousands of GPUs.
sbatch odešle dávkový skript, který popisuje prostředky a příkazy pro úlohu do fronty Slurm.
Systém Generic Resource (GRES) umožňuje úlohám žádat GPU explicitně, například --gres=gpu:8.
slurmctld je démon řadiče, který plánuje úlohy, zatímco slurmd běží na každém uzlu a spouští úlohy.
srun launches task steps in the allocation and exposes Slurm task information; distributed frameworks may still require explicit rendezvous settings.
Backfill zlepšuje využití tím, že zařazuje menší úlohy do mezer v plánování, pokud netlačí zpět rezervované úlohy.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Úložiště pro AI Training Clusters
Technický