Tenzor párhuzamosság nagy modellekhez
Egy módszer a matematikai adatok egyetlen neurális hálózati rétegen belüli felosztására több GPU-ra, hogy egy eszközhöz túl nagy modell továbbra is futhasson.
Áttekintés
It matters because frontier models have hundreds of billions of parameters that no single GPU can hold or compute fast enough alone.
Mély merülés
A tenzor párhuzamosság (más néven rétegen belüli modell párhuzamosság) az egyes súlymátrixokat szétdarabolja a GPU-k között, ahelyett, hogy egész rétegeket helyezne el külön eszközökön. A transzformátorban a nagy mátrixszorzások – a figyelemkivetítések és az előrecsatolt MLP – fel vannak osztva: például az MLP első súlymátrixa oszlopokra, a második pedig sorokra van felosztva, így minden GPU kiszámít egy szeletet, és egyetlen minden csökkentése egyesíti az eredményeket. A figyelem megoszlik a fejek között, minden GPU egy részhalmazt kezel. Mivel minden GPU egyszerre végzi el minden réteg egy részét, a tenzoros párhuzamosság csökkenti a GPU-nkénti memóriát és felgyorsítja a számítást, de gyakori, nagy sávszélességű kommunikációt igényel a GPU-k között minden réteg között. Ez az oka annak, hogy általában az NVLink által összekapcsolt csomóponton belül van, és a folyamatok és az adatok párhuzamosságával kombinálják a nagyon nagy képzési és kiszolgálási feladatokat.
Technikai betekintés
A Megatron-LM által népszerűsített trükk a partíciók méreteinek megválasztása, így a kommunikáció minimális. Az első MLP-mátrix oszloponkénti felosztása lehetővé teszi, hogy minden GPU helyileg alkalmazza a nemlinearitást szinkronizálás nélkül; a második sor felosztása azt jelenti, hogy a kimeneteknek csak egy redukálásra van szükségük a részeredmények összegzéséhez. Így minden réteg nagyjából két teljes csökkentést (előre) és kettőt (hátra) von maga után. Mivel ezek a csoportok minden rétegben előfordulnak, a késleltetés dominál – így a tenzoros párhuzamosság a gyors csomóponton belüli kapcsolatok, például az NVLink mögött él, nem pedig a lassabb csomópontok közötti hálózatok mögött.
Stratégiai hatás
Költség és költségvetés
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
Tisztább döntések
A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
Minőségellenőrzés
A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.
A tenzorparallelizmus jövője nagy modelleknél
A tenzorpárhuzam továbbra is alapvető marad, de egyre inkább beleolvad a „3D-s párhuzamosságba” (tenzor + csővezeték + adatok), és a szakértői párhuzamossággal kombinálják a Mixture-of-Experts modelleknél. Az olyan keretrendszerek, mint a Megatron-LM, a DeepSpeed és a vLLM automatizálják a felosztást. Ahogy a GPU-összeköttetések (NVLink, NVSwitch) és az optikai szövetek felgyorsulnak, a csomópont-határok ellazulnak, így szélesebb tenzor-párhuzamos csoportok alakulnak ki. Intelligensebb automatikus párhuzamosításra számíthat, amely kiválasztja a szilánkok méreteit és a csoportok méretét, hogy minimalizálja a kommunikációt egy adott fürt topológiához.
Valós megvalósítás
175B-s paraméterű modell betanítása az egyes rétegek súlymátrixainak felosztásával 8 GPU-n egy NVLink-csatlakozott csomópontban a Megatron-LM segítségével.
70 B-paraméteres csevegési modell kiszolgálása vLLM-ben tensor_parallel_size=4 értékkel, így a súlyok négy GPU-ra illeszkednek, és valós időben reagálnak.
A transzformátorok figyelőfejeinek felosztása a GPU-k között, így minden eszköz egy részhalmazt számít ki, majd a kimeneteket összefűzi a következő réteghez.
A csomópontokon belüli tenzor párhuzamosság és a csomópontok közötti csővezeték párhuzamosság kombinálása trillió paraméteres modellek betanítása érdekében nagy GPU-fürtökön.
Kockázatok és védőkorlátok
Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.
Végrehajtási ütemterv
Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
Benchmark reális terhelési és adatviszonyok mellett.
Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tensor Parallelism for Large Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Modell és csővezeték párhuzamossága
Gyakran ismételt kérdések
What is Tensor Parallelism for Large Models?
Egy módszer a matematikai adatok egyetlen neurális hálózati rétegen belüli felosztására több GPU-ra, hogy egy eszközhöz túl nagy modell továbbra is futhasson. Ez azért fontos, mert a határmodellek több százmilliárd olyan paraméterrel rendelkeznek, amelyeket egyetlen GPU sem tud egyedül tartani vagy elég gyorsan kiszámítani.
Mi osztja fel a tenzorpárhuzamot a GPU-k között?
A tenzoros (rétegen belüli) párhuzamosság feldarabolja a súlymátrixokat egy rétegen belül, így minden GPU ugyanannak a rétegnek egy részét számítja ki – ez különbözik a csővezeték párhuzamosságától, amely egész rétegeket helyez el a különböző GPU-kon.
A Megatron-stílusú MLP-felosztásban hogyan van a két súlymátrix particionálva a kommunikáció minimalizálása érdekében?
Az első mátrix oszlopokra bontása lehetővé teszi, hogy minden GPU helyileg alkalmazza a nemlinearitást; a második sorokkal való felosztása a részleges kimenetek egyszeri, teljesen csökkentett összegét jelenti – minimalizálva a szinkronizálást.
Miért tartják általában a tenzorpárhuzamot egyetlen csomóponton belül?
Mindegyik réteg kollektív kommunikációt vált ki (minden csökkent), így a nehéz, késleltetésre érzékeny forgalom gyors csomóponton belüli kapcsolatokat igényel, mint például az NVLink, nem pedig lassabb csomópontok közötti hálózatokat.
Hogyan történik a figyelemmechanizmus jellemzően párhuzamosítása tenzorpárhuzamban?
A figyelemfelkeltő fejek függetlenek, így a GPU-k között vannak elosztva – minden eszköz kiszámít néhány fejet, és a kimeneteket kombinálja.
Milyen gyűjtőművelet kombinálja általában a parciális eredményeket tenzorpárhuzamban?
Az All-reduce összegzi az egyes GPU-kon kiszámított részleges kimeneteket, így azok megegyeznek a réteg eredményében; ez rétegenként többször megtörténik előre- és hátramenetben.