Quiz collegato alla guida · Medio Livello
Quiz sulla gestione e frammentazione della memoria GPU
Testa la GPU allocata rispetto alla memoria riservata, il riutilizzo dell'allocatore e la diagnosi della frammentazione, inclusi i limiti di empty_cache e dei segmenti espandibili.
Domanda 1 di 8
Cos'è la frammentazione della memoria della GPU?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cos'è la frammentazione della memoria della GPU?
- Quando la GPU si rompe fisicamente
- Quando il modello ha troppi livelli
- Quando due GPU non sono d'accordo su un risultato
- Quando la memoria libera viene suddivisa in blocchi sparsi troppo piccoli per soddisfare una richiesta contigua di grandi dimensioni
- Perché framework come PyTorch utilizzano un allocatore di memoria nella cache?
- Per rendere il modello più accurato
- Per evitare lentezza nell'allocazione diretta dei driver/chiamate gratuite riutilizzando i blocchi di memoria in pool
- Per crittografare i pesi
- Ridurre il numero di GPU necessarie a una
- A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
- Whether fragmentation is proven by the error alone
- Whether all live tensors have already been freed
- Whether inactive split blocks or other allocations explain the failure
- Whether changing the learning rate releases GPU memory
- Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
- Expandable segments in the allocator configuration
- Increasing every tensor dimension
- Disabling the GPU cooling system
- Increasing the optimizer learning rate
- Cosa riesce PagedAttention di vLLM a ridurre lo spreco di memoria durante l'inferenza?
- I dati di training del modello
- La cache del valore-chiave di attenzione (KV), utilizzando pagine a dimensione fissa
- La velocità di clock della GPU
- La dimensione del carattere dei log
- Quale tecnica riduce la memoria di attivazione per evitare errori di memoria insufficiente?
- Aggiunta di più livelli
- Utilizzo di un riscaldamento con velocità di apprendimento più lunga
- Checkpoint del gradiente (ricalcolo)
- Salvataggio di più checkpoint su disco
- A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
- No; it releases unused cached memory rather than live tensor storage
- Yes; it deletes every referenced tensor
- Yes; it moves the tensor automatically to NVMe
- Only if the tensor contains zero values
- PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
- Reserved memory measures only CPU RAM
- Allocated memory includes every process on the GPU
- The difference directly proves a model accuracy error
- The allocator can retain cached blocks beyond memory currently used by tensors