VolgendeVolgende gids
GPU‑geheugen schatten dat nodig is voor LLM's
Technisch
Technische GIDS
Hoe AI-frameworks het beperkte geheugen op een GPU toewijzen, hergebruiken en terugwinnen, en waarom overgebleven gaten (fragmentatie) fouten in het geheugen kunnen veroorzaken, zelfs als er technisch gezien voldoende geheugen overblijft.
Luister naar deze gidsAI-verteld · ~2 min
Het begrijpen ervan is de sleutel tot het passen van grote modellen en het voorkomen van mysterieuze crashes.
GPU-geheugen is vast en kostbaar: een kaart kan in totaal 24, 80 of 192 GB hebben, gedeeld door modelgewichten, activeringen, gradiënten, optimalisatiestatussen en tijdelijke buffers. Het zou traag zijn om de driver aan te roepen om bij elke bewerking geheugen toe te wijzen. Daarom gebruiken frameworks als PyTorch een caching-allocator die grote blokken vooraf pakt en substukken uitdeelt, en vervolgens de vrijgekomen stukken in een pool bewaart voor hergebruik. Het probleem is fragmentatie: naarmate tensoren van verschillende grootte worden toegewezen en vrijgegeven, valt de vrije ruimte uiteen in verspreide brokken. U kunt in totaal 5 GB vrij hebben, maar er niet in slagen een aaneengesloten tensor van 2 GB toe te wijzen, omdat geen enkel gat groot genoeg is. Dit is de reden waarom training kan vastlopen met fouten in het geheugen, ondanks schijnbaar beschikbare speelruimte.
A training team examines allocator statistics before testing expandable segments on a variable-batch workload.
A developer uses memory_summary and a memory snapshot to investigate active tensors and inactive split blocks.
An inference team uses vLLM’s paged KV-cache management to reduce cache-allocation waste.
A training team lowers batch size or checkpoints activations after confirming live tensor memory is the limiting factor.
Geheugenbeheer wordt slimmer en wisselvalliger, geïnspireerd door besturingssystemen. Technieken zoals allocators in de stijl van virtueel geheugen en gepagineerde aandacht (gebruikt om de KV-cache te beheren tijdens inferentie) verminderen verspilling en fragmentatie dramatisch. Verwacht dat frameworks standaard uitbreidbare, defragmenterende allocators, beter inzicht door ingebouwde profilers en een nauwere koppeling met offloading en herberekening gebruiken, zodat het systeem automatisch met GPU, CPU en schijfgeheugen jongleert om het gebruik hoog te houden en crashes zeldzaam te maken.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Hoe AI-frameworks het beperkte geheugen op een GPU toewijzen, hergebruiken en terugwinnen, en waarom overgebleven gaten (fragmentatie) fouten in het geheugen kunnen veroorzaken, zelfs als er technisch gezien voldoende geheugen overblijft. Het begrijpen ervan is de sleutel tot het passen van grote modellen en het voorkomen van mysterieuze crashes.
Fragmentatie betekent dat het totale vrije geheugen voldoende is, maar het wordt in stukken gebroken, dus geen enkele opening is groot genoeg voor een grote tensor.
Het aanroepen van cudaMalloc/cudaFree voor elke bewerking is traag, dus de caching-allocator pakt grote blokken en hergebruikt de bevrijde blokken uit een pool.
Allocator statistics and snapshots help distinguish fragmentation from live tensors or other allocations. The error alone does not prove a single cause.
Expandable segments can reduce waste for selected allocation patterns. Availability and benefit depend on allocator configuration and workload.
PagedAttention slaat de KV-cache op in pagina's met een vaste grootte, zoals virtueel besturingssysteemgeheugen, waardoor fragmentatie wordt verminderd en veel verzoeken efficiënt worden afgehandeld.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
GPU‑geheugen schatten dat nodig is voor LLM's
Technisch