LegközelebbKövetkező útmutató
GPTQ és AWQ edzés utáni kvantálás
Műszaki
Műszaki ÚTMUTATÓ
A DeepSpeed (Microsoft) és a Megatron-LM (NVIDIA) azok a szoftvercsomagok, amelyek több ezer GPU-n keresztül több milliárd paraméterrel rendelkező oktatási modelleket tesznek lehetővé.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Without them, today's frontier models simply could not fit in memory or finish training in a reasonable time.
Lehetetlen egy nagy modellt egyetlen GPU-n betanítani, mert a súlyok, a színátmenetek és az optimalizáló állapotai nem illenek egymáshoz. Ezek a veremek felosztják a munkát számos GPU között. A Megatron-LM úttörő szerepet játszott a tenzorpárhuzamban, az egyes mátrixszorzásokat feldarabolva minden egyes GPU-n belüli rétegben, valamint a csővezeték-párhuzamot, amely különböző rétegeket helyez a különböző GPU-kra. A DeepSpeed sajátossága a ZeRO (Zero Redundancy Optimizer), amely a GPU-k közötti optimalizálási állapotokat, gradienseket és paramétereket replikálja, ahelyett, hogy replikálná őket, így drámai módon csökkenti a GPU-nkénti memóriát. A kettőt gyakran kombinálják (Megatron-DeepSpeed), hogy olyan modelleket képezzenek, mint a BLOOM-176B és a Megatron-Turing NLG. Vegyes precizitást, aktiválási ellenőrzési pontot és kitöltést is hozzáadnak a CPU-hoz vagy az NVMe-hez, így a hatalmas modellek korlátozott hardveren edznek.
A nyílt többnyelvű BLOOM-176B modell betanítása a kombinált Megatron-DeepSpeed verem segítségével több száz GPU-n keresztül.
Microsoft és az NVIDIA az 530 milliárd paraméterű Megatron-Turing NLG modellt 3D párhuzamossággal tanítja.
A ZeRO-Offload lehetővé teszi a kutatók számára, hogy egyetlen munkaállomás GPU-n finomhangolják a többmilliárd paraméterű modelleket az optimalizáló állapotainak a CPU RAM-ba való kiszórásával.
Aktiválási ellenőrzőpontok használata ezekben a veremekben a hosszabb kontextusablak beillesztéséhez az aktiválások újraszámításával az összes tárolása helyett.
Szorosabb integrációra számíthat a PyTorch natív FSDP-jével (Fully Sharded Data Parallel), amely sok ZeRO-ötletet magába szívott, elmosva a határvonalat a kutatási veremek és az alapvető keretrendszerek között. A fordító által vezérelt megközelítések és az automatikus párhuzamossági tervezők célja a kézi hangolás eltávolítása. Ahogy a képzési klaszterek több százezer gyorsító felé nőnek, a hibatűrés, a rugalmas skálázás és a számításokkal való átfedő kommunikáció a domináns mérnöki határvonalakká válik, az új hardverek, például az NVIDIA Blackwell és az egyedi képzési chipek támogatása mellett.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A DeepSpeed (Microsoft) és a Megatron-LM (NVIDIA) azok a szoftvercsomagok, amelyek több ezer GPU-n keresztül több milliárd paraméterrel rendelkező oktatási modelleket tesznek lehetővé. Nélkülük a mai határmodellek egyszerűen nem férnének be a memóriába, és nem tudnának ésszerű időn belül befejezni az edzést.
A ZeRO (Zero Redundancy Optimizer) kiküszöböli a memóriaredundanciát azáltal, hogy particionálja az optimalizáló állapotait, gradienseit és paramétereit a GPU-k között, ahelyett, hogy az egyes eszközökön replikálná azokat.
A tenzorpárhuzam felosztja a matematikát egyetlen rétegen belül (például egy nagy mátrixszorzás) több GPU között, ami rétegen belüli felosztás.
A ZeRO Stage 3 a színátmenetek és az optimalizáló állapotok mellett a paramétereket is megszilárdítja, igény szerint összegyűjti őket, így a legnagyobb memóriacsökkentést biztosítja.
Az aktiválási ellenőrzőpontok kevesebb közbenső aktiválást tárolnak, és újraszámítják azokat a visszaterjesztés során, további számításokat keresve a csökkentett memóriaért.
A 3D párhuzamosság három ortogonális stratégiát halmoz fel: adatpárhuzamot, tenzor (rétegen belüli) párhuzamosságot és csővezeték (rétegek közötti) párhuzamosságot.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
GPTQ és AWQ edzés utáni kvantálás
Műszaki