Quiz collegato alla guida · Difficile Livello
Offload dello stato dell'ottimizzatore su CPU e NVMe Quiz
Applicare la contabilità della memoria per l'offload dell'ottimizzatore, il posizionamento degli aggiornamenti dell'host e i compromessi di trasferimento, incluso il motivo per cui l'offload non rimuove tutte le allocazioni GPU.
Domanda 1 di 8
Qual è l'obiettivo principale dell'offload degli stati dell'ottimizzatore su CPU o NVMe?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è l'obiettivo principale dell'offload degli stati dell'ottimizzatore su CPU o NVMe?
- Per rendere il modello più accurato
- Ridurre il numero di periodi di formazione necessari
- Per eliminare completamente la necessità di gradienti
- Per adattarsi a modelli più grandi liberando la scarsa memoria della GPU
- For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
- Two bytes for all three values
- Twelve bytes, excluding model weights and gradients
- Sixteen bytes for the three values alone
- Zero bytes because they are implicit
- Quale framework ha reso popolare l'offload dell'ottimizzatore su larga scala?
- Una nuova funzione di attivazione
- Compressione delle immagini JPEG
- DeepSpeed ZeRO-Offload e ZeRO-Infinity
- Ritaglio gradiente
- Qual è il principale costo in termini di prestazioni derivante dall'offload su CPU o NVMe?
- I dati devono viaggiare su collegamenti più lenti come PCIe o su disco, aggiungendo latenza
- Il modello dimentica l'addestramento precedente
- L'ottimizzatore diventa matematicamente errato
- La temperatura della GPU scende troppo
- In che modo i sistemi di scarico nascondono gran parte della latenza di trasferimento?
- Saltando il passaggio all'indietro
- Sovrapponendo il precaricamento dei dati con il calcolo GPU in corso
- Allenando solo un parametro alla volta
- Disabilitando la precisione mista
- In ZeRO-Offload, dove viene spesso eseguito il passaggio dell'ottimizzatore Adam?
- Interamente sul controller NVMe
- Su una GPU con display separato
- Sulla CPU, utilizzando i pesi principali e i momenti ivi memorizzati
- All'interno dello switch di rete
- Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
- The job can still run out of GPU memory
- Offloading guarantees the job fits any GPU
- The optimizer moments automatically become model activations
- The model no longer needs forward tensors
- A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
- Only the inference accuracy
- The UI font used for training logs
- Only the number of dataset classes
- Host optimizer-update time and host-device transfer time