Kvíz spojený s průvodcem · Střední úroveň
Kvíz správy paměti GPU a fragmentace
Testujte alokovanou GPU versus rezervovanou paměť, opětovné použití alokátoru a diagnostiku fragmentace, včetně limitů empty_cache a rozšiřitelných segmentů.
Otázka 1 z 8
Co je fragmentace paměti GPU?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co je fragmentace paměti GPU?
- Když se GPU fyzicky rozpadne
- Když má model příliš mnoho vrstev
- Když se dvě GPU neshodnou na výsledku
- Když je volná paměť rozdělena na rozptýlené části příliš malé na uspokojení velkého souvislého požadavku
- Proč rámce jako PyTorch používají alokátor mezipaměti?
- Aby byl model přesnější
- Chcete-li se vyhnout pomalé přímé alokaci/volným voláním ovladače opakovaným použitím bloků sdružené paměti
- Chcete-li zašifrovat váhy
- Snížit počet potřebných GPU na jednu
- A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
- Whether fragmentation is proven by the error alone
- Whether all live tensors have already been freed
- Whether inactive split blocks or other allocations explain the failure
- Whether changing the learning rate releases GPU memory
- Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
- Expandable segments in the allocator configuration
- Increasing every tensor dimension
- Disabling the GPU cooling system
- Increasing the optimizer learning rate
- Co dokáže PagedAttention vLLM snížit plýtvání pamětí během vyvozování?
- Tréninková data modelu
- Mezipaměť typu klíč-hodnota (KV) pomocí stránek s pevnou velikostí
- Rychlost hodin GPU
- Velikost písma protokolů
- Která technika snižuje aktivační paměť, aby se předešlo chybám z nedostatku paměti?
- Přidání dalších vrstev
- Použití delšího zahřívání s rychlostí učení
- Kontrolní bod přechodu (přepočet)
- Ukládání více kontrolních bodů na disk
- A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
- No; it releases unused cached memory rather than live tensor storage
- Yes; it deletes every referenced tensor
- Yes; it moves the tensor automatically to NVMe
- Only if the tensor contains zero values
- PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
- Reserved memory measures only CPU RAM
- Allocated memory includes every process on the GPU
- The difference directly proves a model accuracy error
- The allocator can retain cached blocks beyond memory currently used by tensors