Kvíz spojený s průvodcem · Střední úroveň

Kvíz správy paměti GPU a fragmentace

Testujte alokovanou GPU versus rezervovanou paměť, opětovné použití alokátoru a diagnostiku fragmentace, včetně limitů empty_cache a rozšiřitelných segmentů.

Související vodicí cestySpráva a fragmentace GPU Paměti
Otázka 1 z 8

Co je fragmentace paměti GPU?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co je fragmentace paměti GPU?
    • Když se GPU fyzicky rozpadne
    • Když má model příliš mnoho vrstev
    • Když se dvě GPU neshodnou na výsledku
    • Když je volná paměť rozdělena na rozptýlené části příliš malé na uspokojení velkého souvislého požadavku
  2. Proč rámce jako PyTorch používají alokátor mezipaměti?
    • Aby byl model přesnější
    • Chcete-li se vyhnout pomalé přímé alokaci/volným voláním ovladače opakovaným použitím bloků sdružené paměti
    • Chcete-li zašifrovat váhy
    • Snížit počet potřebných GPU na jednu
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. Co dokáže PagedAttention vLLM snížit plýtvání pamětí během vyvozování?
    • Tréninková data modelu
    • Mezipaměť typu klíč-hodnota (KV) pomocí stránek s pevnou velikostí
    • Rychlost hodin GPU
    • Velikost písma protokolů
  6. Která technika snižuje aktivační paměť, aby se předešlo chybám z nedostatku paměti?
    • Přidání dalších vrstev
    • Použití delšího zahřívání s rychlostí učení
    • Kontrolní bod přechodu (přepočet)
    • Ukládání více kontrolních bodů na disk
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors