Műszaki ÚTMUTATÓ

Tenzor párhuzamosság nagy modellekhez

Egy módszer a matematikai adatok egyetlen neurális hálózati rétegen belüli felosztására több GPU-ra, hogy egy eszközhöz túl nagy modell továbbra is futhasson.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A tenzorparallelizmus jövője nagy modelleknél
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It matters because frontier models have hundreds of billions of parameters that no single GPU can hold or compute fast enough alone.

Mély merülés

A tenzor párhuzamosság (más néven rétegen belüli modell párhuzamosság) az egyes súlymátrixokat szétdarabolja a GPU-k között, ahelyett, hogy egész rétegeket helyezne el külön eszközökön. A transzformátorban a nagy mátrixszorzások – a figyelemkivetítések és az előrecsatolt MLP – fel vannak osztva: például az MLP első súlymátrixa oszlopokra, a második pedig sorokra van felosztva, így minden GPU kiszámít egy szeletet, és egyetlen minden csökkentése egyesíti az eredményeket. A figyelem megoszlik a fejek között, minden GPU egy részhalmazt kezel. Mivel minden GPU egyszerre végzi el minden réteg egy részét, a tenzoros párhuzamosság csökkenti a GPU-nkénti memóriát és felgyorsítja a számítást, de gyakori, nagy sávszélességű kommunikációt igényel a GPU-k között minden réteg között. Ez az oka annak, hogy általában az NVLink által összekapcsolt csomóponton belül van, és a folyamatok és az adatok párhuzamosságával kombinálják a nagyon nagy képzési és kiszolgálási feladatokat.

Valós megvalósítás

175B-s paraméterű modell betanítása az egyes rétegek súlymátrixainak felosztásával 8 GPU-n egy NVLink-csatlakozott csomópontban a Megatron-LM segítségével.

70 B-paraméteres csevegési modell kiszolgálása vLLM-ben tensor_parallel_size=4 értékkel, így a súlyok négy GPU-ra illeszkednek, és valós időben reagálnak.

A transzformátorok figyelőfejeinek felosztása a GPU-k között, így minden eszköz egy részhalmazt számít ki, majd a kimeneteket összefűzi a következő réteghez.

A csomópontokon belüli tenzor párhuzamosság és a csomópontok közötti csővezeték párhuzamosság kombinálása trillió paraméteres modellek betanítása érdekében nagy GPU-fürtökön.

A tenzorparallelizmus jövője nagy modelleknél

A tenzorpárhuzam továbbra is alapvető marad, de egyre inkább beleolvad a „3D-s párhuzamosságba” (tenzor + csővezeték + adatok), és a szakértői párhuzamossággal kombinálják a Mixture-of-Experts modelleknél. Az olyan keretrendszerek, mint a Megatron-LM, a DeepSpeed ​​és a vLLM automatizálják a felosztást. Ahogy a GPU-összeköttetések (NVLink, NVSwitch) és az optikai szövetek felgyorsulnak, a csomópont-határok ellazulnak, így szélesebb tenzor-párhuzamos csoportok alakulnak ki. Intelligensebb automatikus párhuzamosításra számíthat, amely kiválasztja a szilánkok méreteit és a csoportok méretét, hogy minimalizálja a kommunikációt egy adott fürt topológiához.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Tensor Parallelism for Large Models quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Tensor Parallelism for Large Models?

Egy módszer a matematikai adatok egyetlen neurális hálózati rétegen belüli felosztására több GPU-ra, hogy egy eszközhöz túl nagy modell továbbra is futhasson. Ez azért fontos, mert a határmodellek több százmilliárd olyan paraméterrel rendelkeznek, amelyeket egyetlen GPU sem tud egyedül tartani vagy elég gyorsan kiszámítani.

Mi osztja fel a tenzorpárhuzamot a GPU-k között?

A tenzoros (rétegen belüli) párhuzamosság feldarabolja a súlymátrixokat egy rétegen belül, így minden GPU ugyanannak a rétegnek egy részét számítja ki – ez különbözik a csővezeték párhuzamosságától, amely egész rétegeket helyez el a különböző GPU-kon.

A Megatron-stílusú MLP-felosztásban hogyan van a két súlymátrix particionálva a kommunikáció minimalizálása érdekében?

Az első mátrix oszlopokra bontása lehetővé teszi, hogy minden GPU helyileg alkalmazza a nemlinearitást; a második sorokkal való felosztása a részleges kimenetek egyszeri, teljesen csökkentett összegét jelenti – minimalizálva a szinkronizálást.

Miért tartják általában a tenzorpárhuzamot egyetlen csomóponton belül?

Mindegyik réteg kollektív kommunikációt vált ki (minden csökkent), így a nehéz, késleltetésre érzékeny forgalom gyors csomóponton belüli kapcsolatokat igényel, mint például az NVLink, nem pedig lassabb csomópontok közötti hálózatokat.

Hogyan történik a figyelemmechanizmus jellemzően párhuzamosítása tenzorpárhuzamban?

A figyelemfelkeltő fejek függetlenek, így a GPU-k között vannak elosztva – minden eszköz kiszámít néhány fejet, és a kimeneteket kombinálja.

Milyen gyűjtőművelet kombinálja általában a parciális eredményeket tenzorpárhuzamban?

Az All-reduce összegzi az egyes GPU-kon kiszámított részleges kimeneteket, így azok megegyeznek a réteg eredményében; ez rétegenként többször megtörténik előre- és hátramenetben.