VolgendeVolgende gids
Verdwijnende en exploderende verlopen
Technisch
Technische GIDS
Met gradiëntaccumulatie kunt u een grote batchgrootte op een beperkt GPU-geheugen simuleren door gradiënten over verschillende kleine minibatches op te tellen voordat u de gewichten bijwerkt.
Luister naar deze gidsAI-verteld · ~2 min
Het is de standaardoplossing voor het trainen van grote modellen wanneer geheugen het knelpunt is.
Normaal gesproken verwerkt een trainingsstap één batch, berekent de gradiënten en werkt de parameters onmiddellijk bij. Met gradiëntaccumulatie voer je verschillende voorwaartse en achterwaartse passages uit op kleinere microbatches, waarbij je hun gradiënten bij elkaar optelt in de parameterbuffers, en pas de optimalisatiestap aanroept (en de gradiënten op nul zet) na N microbatches. De effectieve batchgrootte wordt microbatchgrootte maal N, ook al bevat het piekgeheugen slechts één microbatch aan activeringen. Dit is van belang omdat veel trainingsrecepten uitgaan van grote batches voor stabiele statistieken, en omdat modellen zoals grote transformatoren niet een volledige doelbatch op één apparaat kunnen plaatsen. Het addertje onder het gras: batch-normalisatiestatistieken worden berekend per micro-batch, dus laagnorm of groepsnorm passen beter bij accumulatie, en je moet het verlies correct schalen om het effectieve leertempo goed te houden.
Het verfijnen van een groot taalmodel op een enkele consumenten-GPU door meer dan 8 of 16 microbatches te verzamelen om een effectieve batch van honderden te bereiken.
Het trainen van visie- of segmentatiemodellen met hoge resolutie waarbij zelfs een batch van 2 past, maar het recept een effectieve batch van 32 nodig heeft.
Hugging Face Trainer en PyTorch Lightning leggen een instelling voor gradiënt_accumulatie_stappen bloot die routinematig wordt gebruikt in opstellingen met beperkte VRAM.
Het reproduceren van de resultaten van grote batches op kleinere hardware door de effectieve batchgrootte door middel van accumulatie te matchen.
Het accumuleren van gradiënten zal een standaardmaatregel blijven, aangezien de modelgroottes groter zijn dan het geheugen van één apparaat. Het wordt steeds vaker gecombineerd met gemengde precisie, activeringscontrolepunten, ZeRO-sharding en pijplijnparallellisme in raamwerken als DeepSpeed en FSDP. Verwacht een strakkere automatisering waarbij bibliotheken accumulatiestappen automatisch afstemmen op een geheugenbudget, en een blijvend belang voor het verfijnen van grote modellen op bescheiden hardware, inclusief consumenten-GPU's, waar het training mogelijk maakt die anders onmogelijk zou zijn.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Met gradiëntaccumulatie kunt u een grote batchgrootte op een beperkt GPU-geheugen simuleren door gradiënten over verschillende kleine minibatches op te tellen voordat u de gewichten bijwerkt. Het is de standaardoplossing voor het trainen van grote modellen wanneer geheugen het knelpunt is.
Door de gradiënten van verschillende microbatches op te tellen voordat u deze bijwerkt, bootst u een grote batch na zonder deze allemaal tegelijk in het geheugen te bewaren.
Accumulate gradients across N micro-batches, call optimizer.step() once for the effective batch, then clear gradients before the next window; begin training with cleared buffers.
Batch-norm berekent statistieken per micro-batch, zodat laag- of groepsnorm de mismatch met kleine micro-batches vermijdt.
Batch-dependent forward computations break exact equivalence.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Verdwijnende en exploderende verlopen
Technisch