LegközelebbKövetkező útmutató
Modell és csővezeték párhuzamossága
Műszaki
Műszaki ÚTMUTATÓ
Egy módszer a matematikai adatok egyetlen neurális hálózati rétegen belüli felosztására több GPU-ra, hogy egy eszközhöz túl nagy modell továbbra is futhasson.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It matters because frontier models have hundreds of billions of parameters that no single GPU can hold or compute fast enough alone.
A tenzor párhuzamosság (más néven rétegen belüli modell párhuzamosság) az egyes súlymátrixokat szétdarabolja a GPU-k között, ahelyett, hogy egész rétegeket helyezne el külön eszközökön. A transzformátorban a nagy mátrixszorzások – a figyelemkivetítések és az előrecsatolt MLP – fel vannak osztva: például az MLP első súlymátrixa oszlopokra, a második pedig sorokra van felosztva, így minden GPU kiszámít egy szeletet, és egyetlen minden csökkentése egyesíti az eredményeket. A figyelem megoszlik a fejek között, minden GPU egy részhalmazt kezel. Mivel minden GPU egyszerre végzi el minden réteg egy részét, a tenzoros párhuzamosság csökkenti a GPU-nkénti memóriát és felgyorsítja a számítást, de gyakori, nagy sávszélességű kommunikációt igényel a GPU-k között minden réteg között. Ez az oka annak, hogy általában az NVLink által összekapcsolt csomóponton belül van, és a folyamatok és az adatok párhuzamosságával kombinálják a nagyon nagy képzési és kiszolgálási feladatokat.
175B-s paraméterű modell betanítása az egyes rétegek súlymátrixainak felosztásával 8 GPU-n egy NVLink-csatlakozott csomópontban a Megatron-LM segítségével.
70 B-paraméteres csevegési modell kiszolgálása vLLM-ben tensor_parallel_size=4 értékkel, így a súlyok négy GPU-ra illeszkednek, és valós időben reagálnak.
A transzformátorok figyelőfejeinek felosztása a GPU-k között, így minden eszköz egy részhalmazt számít ki, majd a kimeneteket összefűzi a következő réteghez.
A csomópontokon belüli tenzor párhuzamosság és a csomópontok közötti csővezeték párhuzamosság kombinálása trillió paraméteres modellek betanítása érdekében nagy GPU-fürtökön.
A tenzorpárhuzam továbbra is alapvető marad, de egyre inkább beleolvad a „3D-s párhuzamosságba” (tenzor + csővezeték + adatok), és a szakértői párhuzamossággal kombinálják a Mixture-of-Experts modelleknél. Az olyan keretrendszerek, mint a Megatron-LM, a DeepSpeed és a vLLM automatizálják a felosztást. Ahogy a GPU-összeköttetések (NVLink, NVSwitch) és az optikai szövetek felgyorsulnak, a csomópont-határok ellazulnak, így szélesebb tenzor-párhuzamos csoportok alakulnak ki. Intelligensebb automatikus párhuzamosításra számíthat, amely kiválasztja a szilánkok méreteit és a csoportok méretét, hogy minimalizálja a kommunikációt egy adott fürt topológiához.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Egy módszer a matematikai adatok egyetlen neurális hálózati rétegen belüli felosztására több GPU-ra, hogy egy eszközhöz túl nagy modell továbbra is futhasson. Ez azért fontos, mert a határmodellek több százmilliárd olyan paraméterrel rendelkeznek, amelyeket egyetlen GPU sem tud egyedül tartani vagy elég gyorsan kiszámítani.
A tenzoros (rétegen belüli) párhuzamosság feldarabolja a súlymátrixokat egy rétegen belül, így minden GPU ugyanannak a rétegnek egy részét számítja ki – ez különbözik a csővezeték párhuzamosságától, amely egész rétegeket helyez el a különböző GPU-kon.
Az első mátrix oszlopokra bontása lehetővé teszi, hogy minden GPU helyileg alkalmazza a nemlinearitást; a második sorokkal való felosztása a részleges kimenetek egyszeri, teljesen csökkentett összegét jelenti – minimalizálva a szinkronizálást.
Mindegyik réteg kollektív kommunikációt vált ki (minden csökkent), így a nehéz, késleltetésre érzékeny forgalom gyors csomóponton belüli kapcsolatokat igényel, mint például az NVLink, nem pedig lassabb csomópontok közötti hálózatokat.
A figyelemfelkeltő fejek függetlenek, így a GPU-k között vannak elosztva – minden eszköz kiszámít néhány fejet, és a kimeneteket kombinálja.
Az All-reduce összegzi az egyes GPU-kon kiszámított részleges kimeneteket, így azok megegyeznek a réteg eredményében; ez rétegenként többször megtörténik előre- és hátramenetben.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Modell és csővezeték párhuzamossága
Műszaki