Gids-gekoppelde quiz · Middelmatig Niveau

GPU-geheugenbeheer en fragmentatiequiz

Test toegewezen GPU-geheugen versus gereserveerd geheugen, hergebruik van allocators en fragmentatiediagnose, inclusief de limieten van empty_cache en uitbreidbare segmenten.

Vraag 1 van 8

Wat is GPU-geheugenfragmentatie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is GPU-geheugenfragmentatie?
    • Wanneer de GPU fysiek uit elkaar valt
    • Wanneer het model te veel lagen heeft
    • Wanneer twee GPU's het niet eens zijn over een resultaat
    • Wanneer vrij geheugen wordt opgesplitst in verspreide stukken die te klein zijn om aan een groot aaneengesloten verzoek te voldoen
  2. Waarom gebruiken frameworks zoals PyTorch een caching-geheugenallocator?
    • Om het model nauwkeuriger te maken
    • Om trage directe drivertoewijzing/gratis oproepen te voorkomen door gepoolde geheugenblokken te hergebruiken
    • Om de gewichten te coderen
    • Om het aantal benodigde GPU's terug te brengen tot één
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. Wat slaagt vLLM's PagedAttention erin om geheugenverspilling tijdens inferentie te verminderen?
    • De trainingsgegevens van het model
    • De attentiesleutelwaarde-cache (KV), met behulp van pagina's met een vast formaat
    • De kloksnelheid van de GPU
    • De lettergrootte van logboeken
  6. Welke techniek vermindert het activeringsgeheugen om fouten met onvoldoende geheugen te voorkomen?
    • Meer lagen toevoegen
    • Gebruik een langere warming-up voor het leertempo
    • Gradiëntcontrolepunten (herberekening)
    • Meer controlepunten op schijf opslaan
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors