LegközelebbKövetkező útmutató
Tenzor párhuzamosság nagy modellekhez
Műszaki
Műszaki ÚTMUTATÓ
Ha egy modell túl nagy ahhoz, hogy elférjen egy GPU-n, a modell és a folyamat párhuzamossága felosztja magát a modellt az eszközök között.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
This is what makes training giant language models with hundreds of billions of parameters physically possible.
A modell párhuzamossága egyetlen modellt particionál több GPU között, így egyetlen eszköznek sem kell az összes súlyt elviselnie. Két fő íz van. A tenzoros (rétegen belüli) párhuzamosság felosztja a matematikát egy rétegen belül, például feloszt egy nagy mátrixszorzást olyan GPU-k között, amelyek mindegyike kiszámítja a kimenet egy részét. A csővezetékes (rétegek közötti) párhuzamosság különböző, egymást követő rétegeket rendel a különböző GPU-khoz, így az 1. rétegblokk a 0-s GPU-n, a 2. blokk az 1-es GPU-n és így tovább, és az aktiválásokat futószalagként továbbítják. A naiv csővezetékezés kihívása a „buborék”: míg a GPU 0 az első kötegen működik, a későbbi GPU-k tétlenül állnak. A csővezetékek minden egyes tételt mikro-kötegekre osztanak fel, így minden szakasz lefoglalt marad, és jelentősen javítja a kihasználtságot.
GPT-stílusú modellek betanítása az NVIDIA Megatron-LM-mel, amely az egyes transzformátorrétegek figyelmét és az előrecsatolt mátrixokat felosztja a GPU-k között a tenzor párhuzamosság révén.
A GPipe használatával egy óriási vízió vagy nyelvi modell különböző rétegeit külön gyorsítókra helyezik, miközben a mikrokötegelés lefoglalja őket.
A DeepSpeed csővezeték-motorja egy több százmilliárd paraméterű modellt szakaszokra particionál számos csomóponton keresztül.
A tenzoros párhuzamosság egyetlen 8 GPU-s szerveren belüli kombinálása több szerverre kiterjedő párhuzamos párhuzamossággal, hogy egy géphez túl nagy modellt képezzenek.
A keretrendszerek egyre inkább automatizálják azt a nehéz problémát, hogy hogyan particionáljunk egy modellt az eszközök között, profilalkotást és keresést használva a számítás és a kommunikáció egyensúlyára. Várható a tenzor, a csővezeték és az adatpárhuzamosság szorosabb integrációja (3D párhuzamosság), az intelligensebb mikro-kötegelt ütemezés a csővezeték-buborékok szinte kiküszöbölésére, valamint a gyorsabb összekapcsolódású hardver, így az egyetlen réteg chipek közötti felosztása olcsóbbá és rutinszerűbbé válik az egyre nagyobb modelleknél.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Ha egy modell túl nagy ahhoz, hogy elférjen egy GPU-n, a modell és a folyamat párhuzamossága felosztja magát a modellt az eszközök között. Ez teszi fizikailag lehetővé a több százmilliárd paraméterrel rendelkező óriási nyelvi modellek képzését.
A modell és a csővezeték párhuzamossága felosztja magát a modellt az eszközök között, lehetővé téve a hálózatok betanítását, amelyek sokkal nagyobbak, mint amennyit egyetlen GPU képes elhelyezni.
A tenzor párhuzamosság egyetlen rétegben osztja fel a számítást, például feloszt egy nagy súlyú mátrixot, így minden GPU kiszámítja a kimenet egy részét.
A folyamat korai szakaszában a downstream szakaszok még nem rendelkeznek bemenettel, és tétlenül töltik a GPU-időt. ezt az üresjárati rést buboréknak nevezik.
Ha egy köteget mikro-kötegelekre oszt fel, akkor több mikro-kötegelt tölthet be egyszerre különböző szakaszokat, így az összes GPU elfoglalt marad, és csökken az üresjárati idő.
A tenzorpárhuzam gyakran kommunikál a részleges mátrixeredmények rekombinációja érdekében, ezért ott van elhelyezve, ahol a legnagyobb az összekapcsolási sávszélesség, az NVLink feletti csomóponton belül.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Tenzor párhuzamosság nagy modellekhez
Műszaki