Quiz collegato alla guida · Medio Livello

Quiz sulla gestione e frammentazione della memoria GPU

Testa la GPU allocata rispetto alla memoria riservata, il riutilizzo dell'allocatore e la diagnosi della frammentazione, inclusi i limiti di empty_cache e dei segmenti espandibili.

Domanda 1 di 8

Cos'è la frammentazione della memoria della GPU?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cos'è la frammentazione della memoria della GPU?
    • Quando la GPU si rompe fisicamente
    • Quando il modello ha troppi livelli
    • Quando due GPU non sono d'accordo su un risultato
    • Quando la memoria libera viene suddivisa in blocchi sparsi troppo piccoli per soddisfare una richiesta contigua di grandi dimensioni
  2. Perché framework come PyTorch utilizzano un allocatore di memoria nella cache?
    • Per rendere il modello più accurato
    • Per evitare lentezza nell'allocazione diretta dei driver/chiamate gratuite riutilizzando i blocchi di memoria in pool
    • Per crittografare i pesi
    • Ridurre il numero di GPU necessarie a una
  3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
    • Whether fragmentation is proven by the error alone
    • Whether all live tensors have already been freed
    • Whether inactive split blocks or other allocations explain the failure
    • Whether changing the learning rate releases GPU memory
  4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
    • Expandable segments in the allocator configuration
    • Increasing every tensor dimension
    • Disabling the GPU cooling system
    • Increasing the optimizer learning rate
  5. Cosa riesce PagedAttention di vLLM a ridurre lo spreco di memoria durante l'inferenza?
    • I dati di training del modello
    • La cache del valore-chiave di attenzione (KV), utilizzando pagine a dimensione fissa
    • La velocità di clock della GPU
    • La dimensione del carattere dei log
  6. Quale tecnica riduce la memoria di attivazione per evitare errori di memoria insufficiente?
    • Aggiunta di più livelli
    • Utilizzo di un riscaldamento con velocità di apprendimento più lunga
    • Checkpoint del gradiente (ricalcolo)
    • Salvataggio di più checkpoint su disco
  7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
    • No; it releases unused cached memory rather than live tensor storage
    • Yes; it deletes every referenced tensor
    • Yes; it moves the tensor automatically to NVMe
    • Only if the tensor contains zero values
  8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
    • Reserved memory measures only CPU RAM
    • Allocated memory includes every process on the GPU
    • The difference directly proves a model accuracy error
    • The allocator can retain cached blocks beyond memory currently used by tensors