Quiz collegato alla guida · Difficile Livello

Quiz sugli stack di formazione per DeepSpeed e Megatron

Controlla le fasi di sharding ZeRO, il parallelismo di tensore e pipeline, il checkpoint di attivazione, l'offload e l'addestramento parallelo 3D combinato.

Domanda 1 di 8

Qual è lo scopo principale dell'ottimizzatore ZeRO di DeepSpeed?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è lo scopo principale dell'ottimizzatore ZeRO di DeepSpeed?
    • Per partizionare stati, gradienti e parametri dell'ottimizzatore su GPU per risparmiare memoria
    • Per comprimere il modello finale per la distribuzione
    • Tradurre modelli tra framework
    • Per etichettare automaticamente i dati di addestramento
  2. Il parallelismo tensore, introdotto per la prima volta in Megatron-LM, divide il modello come?
    • Mettendo diversi livelli su diverse GPU
    • Suddividendo le moltiplicazioni di matrici individuali all'interno di uno strato su GPU
    • Fornendo a ciascuna GPU un diverso batch di dati
    • Memorizzando diversi passaggi temporali su diverse GPU
  3. Il parallelismo della pipeline differisce dal parallelismo del tensore perché divide il modello in base a:
    • Matrici di affettamento all'interno di ogni strato
    • Duplicazione dell'intero modello su ogni GPU
    • Assegnazione di diversi livelli (fasi) a diverse GPU
    • Quantizzazione dei pesi per una precisione inferiore
  4. Quale fase ZeRO offre il maggiore risparmio di memoria condividendo anche i parametri del modello stesso?
    • Fase 1
    • Fase 2
    • Fase 0
    • Fase 3
  5. Cosa viene scambiato con il "checkpoint di attivazione" per risparmiare memoria durante l'allenamento?
    • Calcolo extra, ricalcolando le attivazioni durante il passaggio all'indietro
    • Precisione del modello
    • Larghezza di banda della rete
    • Il numero di strati
  6. Perché la combinazione di queste tecniche viene spesso chiamata "parallelismo 3D"?
    • Funziona solo su schede grafiche 3D
    • Combina il parallelismo di dati, tensore e pipeline lungo tre assi
    • Utilizza al massimo tre GPU
    • Rende i modelli in tre dimensioni
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Fase 0
    • Fase 2
    • Fase 1
    • Fase 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget