Quiz collegato alla guida · Difficile Livello
Quiz sugli stack di formazione per DeepSpeed e Megatron
Controlla le fasi di sharding ZeRO, il parallelismo di tensore e pipeline, il checkpoint di attivazione, l'offload e l'addestramento parallelo 3D combinato.
Domanda 1 di 8
Qual è lo scopo principale dell'ottimizzatore ZeRO di DeepSpeed?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è lo scopo principale dell'ottimizzatore ZeRO di DeepSpeed?
- Per partizionare stati, gradienti e parametri dell'ottimizzatore su GPU per risparmiare memoria
- Per comprimere il modello finale per la distribuzione
- Tradurre modelli tra framework
- Per etichettare automaticamente i dati di addestramento
- Il parallelismo tensore, introdotto per la prima volta in Megatron-LM, divide il modello come?
- Mettendo diversi livelli su diverse GPU
- Suddividendo le moltiplicazioni di matrici individuali all'interno di uno strato su GPU
- Fornendo a ciascuna GPU un diverso batch di dati
- Memorizzando diversi passaggi temporali su diverse GPU
- Il parallelismo della pipeline differisce dal parallelismo del tensore perché divide il modello in base a:
- Matrici di affettamento all'interno di ogni strato
- Duplicazione dell'intero modello su ogni GPU
- Assegnazione di diversi livelli (fasi) a diverse GPU
- Quantizzazione dei pesi per una precisione inferiore
- Quale fase ZeRO offre il maggiore risparmio di memoria condividendo anche i parametri del modello stesso?
- Fase 1
- Fase 2
- Fase 0
- Fase 3
- Cosa viene scambiato con il "checkpoint di attivazione" per risparmiare memoria durante l'allenamento?
- Calcolo extra, ricalcolando le attivazioni durante il passaggio all'indietro
- Precisione del modello
- Larghezza di banda della rete
- Il numero di strati
- Perché la combinazione di queste tecniche viene spesso chiamata "parallelismo 3D"?
- Funziona solo su schede grafiche 3D
- Combina il parallelismo di dati, tensore e pipeline lungo tre assi
- Utilizza al massimo tre GPU
- Rende i modelli in tre dimensioni
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- Fase 0
- Fase 2
- Fase 1
- Fase 3
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget