DalšíDalší průvodce
Paralelnost modelu a potrubí
Technický
Technický PRŮVODCE
Způsob, jak rozdělit matematiku v jedné vrstvě neuronové sítě na více GPU, takže model příliš velký pro jedno zařízení může stále fungovat.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Záleží na tom, protože hraniční modely mají stovky miliard parametrů, které žádný GPU nedokáže sám udržet nebo spočítat dostatečně rychle.
Tenzorový paralelismus (také nazývaný paralelismus intra-layer model) rozděluje jednotlivé váhové matice napříč GPU spíše než vkládá celé vrstvy na samostatná zařízení. V transformátoru jsou velké násobky matic – projekce pozornosti a dopředná MLP – rozděleny: například první matice vah MLP je rozdělena na sloupce a druhá na řádky, takže každý GPU vypočítá řez a výsledky spojí jediné snížení. Pozornost je rozdělena mezi hlavy, přičemž každý GPU zpracovává podmnožinu. Protože každý GPU je součástí každé vrstvy současně, paralelismus tenzoru snižuje paměť na GPU a zrychluje výpočet, ale vyžaduje častou komunikaci s velkou šířkou pásma mezi GPU v každé vrstvě. To je důvod, proč je obvykle omezena na uzel připojený pomocí NVLink a kombinována s paralelním propojením potrubí a dat pro velmi rozsáhlé školicí a servisní úlohy.
Trénujte model s parametry 175B rozdělením matic hmotnosti každé vrstvy na 8 GPU v jednom uzlu připojeném k NVLink pomocí Megatron-LM.
Poskytování modelu chatu s parametry 70B ve vLLM s tensor_parallel_size=4, takže se váhy vejdou na čtyři GPU a reagují v reálném čase.
Rozdělení pozornosti transformátoru mezi GPU, takže každé zařízení vypočítá podmnožinu a poté zřetězí výstupy pro další vrstvu.
Kombinace paralelismu tenzoru v rámci uzlů a paralelismu potrubí mezi uzly pro trénování modelů s biliony parametrů na velkých clusterech GPU.
Paralelismus tenzorů zůstává základem, ale je stále více začleňován do „3D paralelismu“ (tensor + potrubí + data) a kombinován s expertním paralelismem pro modely Mixture-of-Experts. Frameworky jako Megatron-LM, DeepSpeed a vLLM automatizují sharding. Jak se propojení GPU (NVLink, NVSwitch) a optické tkaniny zrychlují, limit hranice uzlů se uvolňuje, což umožňuje širší skupiny paralelních tenzorů. Očekávejte chytřejší automatickou paralelizaci, která vybírá rozměry střepů a velikosti skupin, aby se minimalizovala komunikace pro danou topologii clusteru.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Způsob, jak rozdělit matematiku v jedné vrstvě neuronové sítě na více GPU, takže model příliš velký pro jedno zařízení může stále fungovat. Záleží na tom, protože hraniční modely mají stovky miliard parametrů, které žádný GPU nedokáže sám udržet nebo spočítat dostatečně rychle.
Tenzorový (vnitrovrstvý) paralelismus narušuje matice hmotnosti uvnitř vrstvy, takže každý GPU počítá část stejné vrstvy – na rozdíl od paralelismu potrubí, který umisťuje celé vrstvy na různá GPU.
Rozdělení první matice podle sloupců umožňuje každému GPU aplikovat nelinearitu lokálně; rozdělení druhého podle řádků znamená jediné úplné snížení součtů dílčích výstupů – minimalizace synchronizace.
Každá vrstva spouští kolektivní komunikaci (vše redukuje), takže těžký provoz citlivý na latenci vyžaduje rychlé vnitrouzlové spoje, jako je NVLink, spíše než pomalejší meziuzlové sítě.
Pozorovací hlavy jsou nezávislé, takže jsou distribuovány mezi GPU – každé zařízení vypočítává některé hlavy a výstupy jsou kombinovány.
All-reduce sečte dílčí výstupy vypočítané na každém GPU, takže se shodují na výsledku vrstvy; toto se děje několikrát za vrstvu v dopředných a zpětných průchodech.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Paralelnost modelu a potrubí
Technický