Gids-gekoppelde quiz · Middelmatig Niveau
GPU-geheugenbeheer en fragmentatiequiz
Test toegewezen GPU-geheugen versus gereserveerd geheugen, hergebruik van allocators en fragmentatiediagnose, inclusief de limieten van empty_cache en uitbreidbare segmenten.
Vraag 1 van 8
Wat is GPU-geheugenfragmentatie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is GPU-geheugenfragmentatie?
- Wanneer de GPU fysiek uit elkaar valt
- Wanneer het model te veel lagen heeft
- Wanneer twee GPU's het niet eens zijn over een resultaat
- Wanneer vrij geheugen wordt opgesplitst in verspreide stukken die te klein zijn om aan een groot aaneengesloten verzoek te voldoen
- Waarom gebruiken frameworks zoals PyTorch een caching-geheugenallocator?
- Om het model nauwkeuriger te maken
- Om trage directe drivertoewijzing/gratis oproepen te voorkomen door gepoolde geheugenblokken te hergebruiken
- Om de gewichten te coderen
- Om het aantal benodigde GPU's terug te brengen tot één
- A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
- Whether fragmentation is proven by the error alone
- Whether all live tensors have already been freed
- Whether inactive split blocks or other allocations explain the failure
- Whether changing the learning rate releases GPU memory
- Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
- Expandable segments in the allocator configuration
- Increasing every tensor dimension
- Disabling the GPU cooling system
- Increasing the optimizer learning rate
- Wat slaagt vLLM's PagedAttention erin om geheugenverspilling tijdens inferentie te verminderen?
- De trainingsgegevens van het model
- De attentiesleutelwaarde-cache (KV), met behulp van pagina's met een vast formaat
- De kloksnelheid van de GPU
- De lettergrootte van logboeken
- Welke techniek vermindert het activeringsgeheugen om fouten met onvoldoende geheugen te voorkomen?
- Meer lagen toevoegen
- Gebruik een langere warming-up voor het leertempo
- Gradiëntcontrolepunten (herberekening)
- Meer controlepunten op schijf opslaan
- A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
- No; it releases unused cached memory rather than live tensor storage
- Yes; it deletes every referenced tensor
- Yes; it moves the tensor automatically to NVMe
- Only if the tensor contains zero values
- PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
- Reserved memory measures only CPU RAM
- Allocated memory includes every process on the GPU
- The difference directly proves a model accuracy error
- The allocator can retain cached blocks beyond memory currently used by tensors