DalšíDalší průvodce
Adam a adaptivní optimalizátory
Technický
Technický PRŮVODCE
Trik na úsporu paměti, který zaparkuje těžké účetnictví tréninku (stavy optimalizátoru, přechody, někdy váhy) do CPU RAM nebo na NVMe SSD namísto vzácné GPU paměti.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Umožňuje lidem trénovat mnohem větší modely, než by jinak umožňovala paměť jejich GPU.
Když trénujete neuronovou síť s optimalizátorem, jako je Adam, každý parametr s sebou nese další zátěž: dvě průběžné statistiky (hybnost a rozptyl) plus přesná kopie hmotnosti plus její gradient. Při tréninku se smíšenou přesností to může mít celkem zhruba 16 bajtů na parametr, což převyšuje 2 bajty pro samotnou váhu. Vyložením se tato zavazadla přesunou z GPU. CPU offload streamuje stavy optimalizátoru do běžné systémové RAM přes PCIe sběrnici, zatímco NVMe offload je tlačí až dolů na rychlé SSD disky. Tato technika, propagovaná DeepSpeed's ZeRO-Infinity a ZeRO-Offload, vyměňuje hrubou rychlost za kapacitu a umožňuje jedinému GPU nebo malému clusteru doladit modely s miliardami parametrů.
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
Vzhledem k tomu, že modely neustále převyšují paměť GPU, stupňovité vykládání se stává spíše standardním než exotickým. Očekávejte těsnější integraci s rychlejšími propojeními, jako jsou NVLink-C2C a paměťové fondy CXL, které rozmazávají hranici mezi CPU a GPU, plus chytřejší plánovače, které předpovídají, které stavy se mají přednačíst. Architektury se sjednocenou pamětí, jako je Grace Hopper, snižují penalizaci PCIe a frameworky tlačí k tomu, aby vícevrstvé vykládání bylo téměř transparentní, takže fandové mohou doladit velké modely na skromném hardwaru.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Trik na úsporu paměti, který zaparkuje těžké účetnictví tréninku (stavy optimalizátoru, přechody, někdy váhy) do CPU RAM nebo na NVMe SSD namísto vzácné GPU paměti. Umožňuje lidem trénovat mnohem větší modely, než by jinak umožňovala paměť jejich GPU.
Snížení zátěže přesune těžké stavy optimalizátoru z GPU do CPU RAM nebo NVMe, čímž uvolní paměť GPU, takže větší modely lze trénovat na stejném hardwaru.
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
ZeRO-Offload a ZeRO-Infinity společnosti DeepSpeed představily a zpopularizovaly stahování stavů optimalizátoru CPU a NVMe ve velkém.
Přesunutí stavů mimo GPU znamená přenos dat přes PCIe nebo do NVMe, což je pomalejší než paměť na GPU, takže propustnost klesá, pokud se nepřekrývá s výpočty.
Plánovače předběžně načítají potřebné oddíly přes PCIe, zatímco GPU stále počítá, čímž se překrývá komunikace s výpočtem, aby se maskovala latence.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Adam a adaptivní optimalizátory
Technický