DalšíDalší průvodce
Kvantování po tréninku GPTQ a AWQ
Technický
Technický PRŮVODCE
DeepSpeed (Microsoft) a Megatron-LM (NVIDIA) jsou softwarové sady, díky nimž jsou tréninkové modely s miliardami parametrů na tisících GPU skutečně proveditelné.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Bez nich by se dnešní hraniční modely prostě nevešly do paměti ani se v rozumném čase nevešly do tréninku.
Trénování velkého modelu na jednom GPU je nemožné, protože váhy, přechody a stavy optimalizátoru nesedí. Tyto zásobníky rozdělují práci mezi mnoho GPU. Megatron-LM je průkopníkem paralelismu tenzoru, který rozděluje jednotlivé multiplikace matic uvnitř každé vrstvy napříč GPU, plus paralelismus potrubí, který dává různé vrstvy na různá GPU. Charakteristickým příspěvkem DeepSpeed je ZeRO (Zero Redundancy Optimizer), který štěpí stavy optimalizátorů, přechody a parametry napříč GPU namísto jejich replikace, čímž dramaticky snižuje paměť na GPU. Tyto dva jsou často kombinovány (Megatron-DeepSpeed) k trénování modelů jako BLOOM-176B a Megatron-Turing NLG. Přidávají také smíšenou přesnost, kontrolní bod aktivace a vykládku na CPU nebo NVMe, takže obrovské modely trénují na omezeném hardwaru.
Trénujte otevřený vícejazyčný model BLOOM-176B pomocí kombinovaného zásobníku Megatron-DeepSpeed napříč stovkami GPU.
Microsoft a NVIDIA trénují model Megatron-Turing NLG s 530 miliardami parametrů s 3D paralelismem.
ZeRO-Offload umožňuje výzkumníkům doladit modely s mnoha miliardami parametrů na jediném grafickém procesoru pracovní stanice tím, že přenese stavy optimalizátoru do RAM CPU.
Použití kontrolního bodu aktivace v těchto hromádkách k přizpůsobení delších kontextových oken přepočítáním aktivací namísto jejich uložení všech.
Očekávejte těsnější integraci s nativním FSDP (Fully Sharded Data Parallel) PyTorch, který absorboval mnoho nápadů ZeRO a stíral hranici mezi výzkumnými zásobníky a základními frameworky. Přístupy řízené kompilátorem a automatické plánovače paralelismu mají za cíl odstranit ruční ladění. Jak školicí clustery rostou směrem ke stovkám tisíc akcelerátorů, odolnost proti chybám, elastické škálování a překrývající se komunikace s výpočty se stávají dominantními technickými hranicemi spolu s podporou nového hardwaru, jako je NVIDIA Blackwell a vlastní školicí čipy.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
DeepSpeed (Microsoft) a Megatron-LM (NVIDIA) jsou softwarové sady, díky nimž jsou tréninkové modely s miliardami parametrů na tisících GPU skutečně proveditelné. Bez nich by se dnešní hraniční modely prostě nevešly do paměti ani se v rozumném čase nevešly do tréninku.
ZeRO (Zero Redundancy Optimizer) eliminuje redundanci paměti rozdělením stavů optimalizátoru, přechodů a parametrů mezi GPU namísto jejich replikace na každé zařízení.
Paralelismus tenzorů rozděluje matematiku uvnitř jedné vrstvy (jako je velký maticový multiplik) mezi více GPU, což je dělení uvnitř vrstev.
ZeRO Stage 3 kromě přechodů a stavů optimalizátoru shromažďuje i parametry fragmentů a na požádání je shromažďuje, čímž dochází k největší redukci paměti.
Kontrolní bod aktivace ukládá méně mezilehlých aktivací a přepočítává je během zpětné propagace, čímž vyměňuje další výpočty za sníženou paměť.
3D paralelismus sdružuje tři ortogonální strategie: datový paralelismus, tenzorový (vnitrovrstvý) paralelismus a potrubní (mezivrstvý) paralelismus.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Kvantování po tréninku GPTQ a AWQ
Technický