DalšíDalší průvodce
Tenzorová paralelita pro velké modely
Technický
Technický PRŮVODCE
Když je model příliš velký na to, aby se vešel na jeden GPU, paralelismus modelu a potrubí rozdělí samotný model mezi zařízení.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Díky tomu je fyzicky možné trénovat obří jazykové modely se stovkami miliard parametrů.
Paralelismus modelu rozděluje jeden model na více GPU, takže žádné zařízení nemusí nést všechny váhy. Existují dvě hlavní příchutě. Tenzorový (vnitrovrstvový) paralelismus rozděluje matematiku uvnitř vrstvy, jako je sekání velkého násobení matic mezi GPU, z nichž každý počítá část výstupu. Pipeline (mezivrstvý) paralelismus přiřazuje různé po sobě jdoucí vrstvy různým GPU, takže blok vrstvy 1 žije na GPU 0, blok 2 na GPU 1 a tak dále, přičemž aktivace se předávají jako montážní linka. Výzvou naivního pipeliningu je „bublina“: zatímco GPU 0 funguje na první várce, následné GPU nečinně pracují. Pipelining rozděluje každou dávku na mikrodávky, takže všechny fáze zůstávají zaneprázdněné, což výrazně zlepšuje využití.
Trénujte modely ve stylu GPT s NVIDIA Megatron-LM, která rozděluje pozornost každé vrstvy transformátoru a matice předávání mezi GPU pomocí paralelismu tenzoru.
Použití GPipe k umístění různých vrstev obřího vize nebo jazykového modelu na samostatné akcelerátory, zatímco mikrodávky je zaměstnávají.
Potrubní motor DeepSpeed rozdělující model s mnoha stovkami miliard parametrů do fází napříč mnoha uzly.
Kombinace paralelismu tenzoru uvnitř jediného 8-GPU serveru s paralelismem potrubí zahrnujícím více serverů pro trénování modelu příliš velkého pro jeden stroj.
Frameworky stále více automatizují obtížný problém rozhodování o tom, jak rozdělit model mezi zařízení, pomocí profilování a vyhledávání k vyvážení výpočtu a komunikace. Očekávejte těsnější integraci paralelismu tenzoru, potrubí a dat (3D paralelismus), chytřejší plánování mikrodávek pro téměř odstranění bublin v potrubí a hardware s rychlejším propojením, takže rozdělení jedné vrstvy mezi čipy bude levnější a rutinnější pro stále větší modely.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Když je model příliš velký na to, aby se vešel na jeden GPU, paralelismus modelu a potrubí rozdělí samotný model mezi zařízení. Díky tomu je fyzicky možné trénovat obří jazykové modely se stovkami miliard parametrů.
Paralelnost modelu a potrubí rozděluje samotný model mezi zařízení, což umožňuje trénování sítí mnohem větších, než by dokázal pojmout kterýkoli jediný GPU.
Tenzorový paralelismus rozděluje výpočet v rámci jedné vrstvy, například rozděluje velkou hmotnostní matici, takže každý GPU počítá část výstupu.
V počáteční fázi procesu nemají následující fáze ještě žádný vstup a nečinně se usazují, čímž se ztrácí čas GPU; tato mezera naprázdno se nazývá bublina.
Rozdělení dávky na mikrodávky umožňuje několika mikrodávkám zabírat různé fáze současně, čímž zaměstnává všechny GPU a zkracuje dobu nečinnosti.
Tenzorový paralelismus často komunikuje, aby rekombinoval výsledky dílčí matice, takže je umístěn tam, kde je šířka pásma propojení největší, uvnitř uzlu přes NVLink.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Tenzorová paralelita pro velké modely
Technický