VolgendeVolgende gids
GPTQ en AWQ kwantisering na de training
Technisch
Technische GIDS
DeepSpeed (Microsoft) en Megatron-LM (NVIDIA) zijn de softwarestacks die trainingsmodellen met miljarden parameters over duizenden GPU's daadwerkelijk haalbaar maken.
Luister naar deze gidsAI-verteld · ~2 min
Zonder hen zouden de huidige grensmodellen eenvoudigweg niet in het geheugen kunnen passen of de training binnen een redelijke tijd kunnen voltooien.
Het trainen van een groot model op één GPU is onmogelijk omdat de gewichten, gradiënten en optimalisatiestatussen niet passen. Deze stapels verdelen het werk over vele GPU's. Megatron-LM was een pionier op het gebied van tensor-parallellisme, waarbij individuele matrixvermenigvuldigingen binnen elke laag over GPU's werden verdeeld, plus pijplijn-parallellisme, waardoor verschillende lagen op verschillende GPU's werden geplaatst. De kenmerkende bijdrage van DeepSpeed is ZeRO (Zero Redundancy Optimizer), dat optimalisatiestatussen, gradiënten en parameters over GPU's heen deelt in plaats van ze te repliceren, waardoor het geheugen per GPU dramatisch wordt verminderd. De twee worden vaak gecombineerd (Megatron-DeepSpeed) om modellen als BLOOM-176B en Megatron-Turing NLG te trainen. Ze voegen ook gemengde precisie, activeringscontrolepunten en offloading toe aan CPU of NVMe, zodat enorme modellen op beperkte hardware trainen.
Train het open meertalige BLOOM-176B-model met behulp van de gecombineerde Megatron-DeepSpeed-stack over honderden GPU's.
Microsoft en NVIDIA trainen het Megatron-Turing NLG-model met 530 miljard parameters met 3D-parallellisme.
Met ZeRO-Offload kunnen onderzoekers modellen met meerdere miljarden parameters op één GPU van een werkstation verfijnen door optimalisatiestatussen naar CPU RAM te sturen.
Gebruik maken van activeringscontrolepunten in deze stapels om in langere contextvensters te passen door activeringen opnieuw te berekenen in plaats van ze allemaal op te slaan.
Verwacht een nauwere integratie met PyTorch's eigen FSDP (Fully Sharded Data Parallel), die veel ZeRO-ideeën heeft geabsorbeerd, waardoor de grens tussen onderzoeksstacks en kernframeworks vervaagt. Compilergestuurde benaderingen en automatische parallellismeplanners zijn bedoeld om handmatige afstemming te elimineren. Naarmate trainingsclusters groeien naar honderdduizenden versnellers, worden fouttolerantie, elastische schaling en overlappende communicatie met berekeningen de dominante technische grenzen, naast ondersteuning voor nieuwe hardware zoals NVIDIA Blackwell en aangepaste trainingschips.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
DeepSpeed (Microsoft) en Megatron-LM (NVIDIA) zijn de softwarestacks die trainingsmodellen met miljarden parameters over duizenden GPU's daadwerkelijk haalbaar maken. Zonder hen zouden de huidige grensmodellen eenvoudigweg niet in het geheugen kunnen passen of de training binnen een redelijke tijd kunnen voltooien.
ZeRO (Zero Redundancy Optimizer) elimineert geheugenredundantie door de optimalisatiestatussen, gradiënten en parameters over GPU's te verdelen in plaats van ze op elk apparaat te repliceren.
Tensor-parallellisme verdeelt de wiskunde binnen een enkele laag (zoals een grote matrixvermenigvuldiging) over meerdere GPU's, wat intralaagsplitsing is.
ZeRO Stage 3 scherft parameters naast gradiënten en optimalisatiestatussen en verzamelt deze op aanvraag, wat de grootste geheugenreductie oplevert.
Activeringscontrolepunten slaan minder tussentijdse activeringen op en berekenen deze opnieuw tijdens backpropagation, waarbij extra berekeningen worden ingewisseld voor minder geheugen.
3D-parallellisme stapelt drie orthogonale strategieën: data-parallellisme, tensor-parallellisme (intra-laag) en pijplijn-parallellisme (tussen-laag).
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
GPTQ en AWQ kwantisering na de training
Technisch