Quiz collegato alla guida · Difficile Livello

Offload dello stato dell'ottimizzatore su CPU e NVMe Quiz

Applicare la contabilità della memoria per l'offload dell'ottimizzatore, il posizionamento degli aggiornamenti dell'host e i compromessi di trasferimento, incluso il motivo per cui l'offload non rimuove tutte le allocazioni GPU.

Domanda 1 di 8

Qual è l'obiettivo principale dell'offload degli stati dell'ottimizzatore su CPU o NVMe?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è l'obiettivo principale dell'offload degli stati dell'ottimizzatore su CPU o NVMe?
    • Per rendere il modello più accurato
    • Ridurre il numero di periodi di formazione necessari
    • Per eliminare completamente la necessità di gradienti
    • Per adattarsi a modelli più grandi liberando la scarsa memoria della GPU
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Quale framework ha reso popolare l'offload dell'ottimizzatore su larga scala?
    • Una nuova funzione di attivazione
    • Compressione delle immagini JPEG
    • DeepSpeed ZeRO-Offload e ZeRO-Infinity
    • Ritaglio gradiente
  4. Qual è il principale costo in termini di prestazioni derivante dall'offload su CPU o NVMe?
    • I dati devono viaggiare su collegamenti più lenti come PCIe o su disco, aggiungendo latenza
    • Il modello dimentica l'addestramento precedente
    • L'ottimizzatore diventa matematicamente errato
    • La temperatura della GPU scende troppo
  5. In che modo i sistemi di scarico nascondono gran parte della latenza di trasferimento?
    • Saltando il passaggio all'indietro
    • Sovrapponendo il precaricamento dei dati con il calcolo GPU in corso
    • Allenando solo un parametro alla volta
    • Disabilitando la precisione mista
  6. In ZeRO-Offload, dove viene spesso eseguito il passaggio dell'ottimizzatore Adam?
    • Interamente sul controller NVMe
    • Su una GPU con display separato
    • Sulla CPU, utilizzando i pesi principali e i momenti ivi memorizzati
    • All'interno dello switch di rete
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time