VolgendeVolgende gids
Tensor-parallellisme voor grote modellen
Technisch
Technische GIDS
Wanneer een model te groot is om op één GPU te passen, wordt het model door model- en pijplijnparallellisme over apparaten verdeeld.
Luister naar deze gidsAI-verteld · ~2 min
This is what makes training giant language models with hundreds of billions of parameters physically possible.
Modelparallellisme verdeelt een enkel model over meerdere GPU's, zodat geen enkel apparaat alle gewichten hoeft te dragen. Er zijn twee hoofdsmaken. Tensor-parallellisme (intra-laag) splitst de wiskunde binnen een laag, zoals het hakken van een grote matrixvermenigvuldiging over GPU's die elk een deel van de uitvoer berekenen. Pipeline-parallellisme (tussenlagen) wijst verschillende opeenvolgende lagen toe aan verschillende GPU's, dus laagblok 1 leeft op GPU 0, blok 2 op GPU 1, enzovoort, waarbij activeringen als een lopende band worden doorgegeven. De uitdaging bij naïef pipelining is de 'bubbel': terwijl GPU 0 werkt op de eerste batch, blijven downstream-GPU's inactief. Pipelining splitst elke batch op in microbatches, zodat alle fasen bezet blijven, waardoor de benutting dramatisch verbetert.
Modellen in GPT-stijl trainen met NVIDIA Megatron-LM, dat de aandacht van elke transformatorlaag en feed-forward-matrices over GPU's verdeelt via tensor-parallellisme.
Het gebruik van GPipe om verschillende lagen van een gigantisch visie- of taalmodel op afzonderlijke versnellers te plaatsen, terwijl micro-batching ze bezig houdt.
De pijplijnengine van DeepSpeed verdeelt een model met meerdere honderd miljard parameters in fasen over vele knooppunten.
Het combineren van tensor-parallellisme binnen één enkele 8-GPU-server met pijplijn-parallellisme dat meerdere servers omspant om een model te trainen dat veel te groot is voor één machine.
Frameworks automatiseren steeds meer het moeilijke probleem van het beslissen hoe een model over apparaten moet worden verdeeld, waarbij gebruik wordt gemaakt van profilering en zoeken om rekenkracht en communicatie in evenwicht te brengen. Verwacht een nauwere integratie van tensor-, pijplijn- en dataparallellisme (3D-parallellisme), slimmere micro-batchplanning om pijplijnbellen vrijwel te elimineren, en hardware met snellere verbindingen, zodat het splitsen van een enkele laag over chips goedkoper en routinematiger wordt voor steeds grotere modellen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Wanneer een model te groot is om op één GPU te passen, wordt het model door model- en pijplijnparallellisme over apparaten verdeeld. Dit maakt het fysiek mogelijk om gigantische taalmodellen te trainen met honderden miljarden parameters.
Model- en pipeline-parallellisme verdelen het model zelf over apparaten, waardoor training van netwerken mogelijk wordt die veel groter zijn dan welke enkele GPU dan ook zou kunnen bevatten.
Tensor-parallellisme verdeelt de berekening binnen een enkele laag, bijvoorbeeld door een matrix met een groot gewicht te splitsen, zodat elke GPU een deel van de uitvoer berekent.
Vroeg in een pijplijnstap hebben de downstream-fasen nog geen input en blijven ze inactief, waardoor GPU-tijd wordt verspild; deze lege kloof wordt de zeepbel genoemd.
Door een batch in microbatches te verdelen, kunnen meerdere microbatches tegelijkertijd verschillende fasen innemen, waardoor alle GPU's bezig blijven en de inactieve tijd wordt verkort.
Tensor-parallellisme communiceert regelmatig om gedeeltelijke matrixresultaten opnieuw te combineren, dus wordt het geplaatst waar de interconnectbandbreedte het hoogst is, in een knooppunt via NVLink.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Tensor-parallellisme voor grote modellen
Technisch