Műszaki ÚTMUTATÓ

DeepSpeed ​​és Megatron Training Stackek

A DeepSpeed (Microsoft) és a Megatron-LM (NVIDIA) azok a szoftvercsomagok, amelyek több ezer GPU-n keresztül több milliárd paraméterrel rendelkező oktatási modelleket tesznek lehetővé.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A DeepSpeed és a Megatron Training Stackek jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Without them, today's frontier models simply could not fit in memory or finish training in a reasonable time.

Mély merülés

Lehetetlen egy nagy modellt egyetlen GPU-n betanítani, mert a súlyok, a színátmenetek és az optimalizáló állapotai nem illenek egymáshoz. Ezek a veremek felosztják a munkát számos GPU között. A Megatron-LM úttörő szerepet játszott a tenzorpárhuzamban, az egyes mátrixszorzásokat feldarabolva minden egyes GPU-n belüli rétegben, valamint a csővezeték-párhuzamot, amely különböző rétegeket helyez a különböző GPU-kra. A DeepSpeed ​​sajátossága a ZeRO (Zero Redundancy Optimizer), amely a GPU-k közötti optimalizálási állapotokat, gradienseket és paramétereket replikálja, ahelyett, hogy replikálná őket, így drámai módon csökkenti a GPU-nkénti memóriát. A kettőt gyakran kombinálják (Megatron-DeepSpeed), hogy olyan modelleket képezzenek, mint a BLOOM-176B és a Megatron-Turing NLG. Vegyes precizitást, aktiválási ellenőrzési pontot és kitöltést is hozzáadnak a CPU-hoz vagy az NVMe-hez, így a hatalmas modellek korlátozott hardveren edznek.

Valós megvalósítás

A nyílt többnyelvű BLOOM-176B modell betanítása a kombinált Megatron-DeepSpeed ​​verem segítségével több száz GPU-n keresztül.

Microsoft és az NVIDIA az 530 milliárd paraméterű Megatron-Turing NLG modellt 3D párhuzamossággal tanítja.

A ZeRO-Offload lehetővé teszi a kutatók számára, hogy egyetlen munkaállomás GPU-n finomhangolják a többmilliárd paraméterű modelleket az optimalizáló állapotainak a CPU RAM-ba való kiszórásával.

Aktiválási ellenőrzőpontok használata ezekben a veremekben a hosszabb kontextusablak beillesztéséhez az aktiválások újraszámításával az összes tárolása helyett.

A DeepSpeed és a Megatron Training Stackek jövője

Szorosabb integrációra számíthat a PyTorch natív FSDP-jével (Fully Sharded Data Parallel), amely sok ZeRO-ötletet magába szívott, elmosva a határvonalat a kutatási veremek és az alapvető keretrendszerek között. A fordító által vezérelt megközelítések és az automatikus párhuzamossági tervezők célja a kézi hangolás eltávolítása. Ahogy a képzési klaszterek több százezer gyorsító felé nőnek, a hibatűrés, a rugalmas skálázás és a számításokkal való átfedő kommunikáció a domináns mérnöki határvonalakká válik, az új hardverek, például az NVIDIA Blackwell és az egyedi képzési chipek támogatása mellett.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the DeepSpeed and Megatron Training Stacks quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is DeepSpeed and Megatron Training Stacks?

A DeepSpeed (Microsoft) és a Megatron-LM (NVIDIA) azok a szoftvercsomagok, amelyek több ezer GPU-n keresztül több milliárd paraméterrel rendelkező oktatási modelleket tesznek lehetővé. Nélkülük a mai határmodellek egyszerűen nem férnének be a memóriába, és nem tudnának ésszerű időn belül befejezni az edzést.

Mi a DeepSpeed ​​ZeRO optimalizálójának elsődleges célja?

A ZeRO (Zero Redundancy Optimizer) kiküszöböli a memóriaredundanciát azáltal, hogy particionálja az optimalizáló állapotait, gradienseit és paramétereit a GPU-k között, ahelyett, hogy az egyes eszközökön replikálná azokat.

A Megatron-LM-ben úttörő tenzorpárhuzam hogyan osztja meg a modellt?

A tenzorpárhuzam felosztja a matematikát egyetlen rétegen belül (például egy nagy mátrixszorzás) több GPU között, ami rétegen belüli felosztás.

Melyik ZeRO fokozat biztosítja a legnagyobb memóriamegtakarítást azáltal, hogy magukat a modellparamétereket is feldarabolja?

A ZeRO Stage 3 a színátmenetek és az optimalizáló állapotok mellett a paramétereket is megszilárdítja, igény szerint összegyűjti őket, így a legnagyobb memóriacsökkentést biztosítja.

Mit vált ki az „aktiválási ellenőrzőpont”, hogy memóriát takarítson meg edzés közben?

Az aktiválási ellenőrzőpontok kevesebb közbenső aktiválást tárolnak, és újraszámítják azokat a visszaterjesztés során, további számításokat keresve a csökkentett memóriaért.

Miért nevezik e technikák kombinálását gyakran „3D-s párhuzamosságnak”?

A 3D párhuzamosság három ortogonális stratégiát halmoz fel: adatpárhuzamot, tenzor (rétegen belüli) párhuzamosságot és csővezeték (rétegek közötti) párhuzamosságot.