Quiz collegato alla guida · Medio Livello

Quiz sul parallelismo dei dati

Esamina i modelli replicati, la sincronizzazione dei gradienti, il dimensionamento dei batch, i costi di comunicazione e i limiti della scalabilità della formazione tra i lavoratori.

Percorsi guida correlatiParallelismo dei dati
Domanda 1 di 8

Nel parallelismo dei dati standard, cosa contiene ciascuna GPU?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Nel parallelismo dei dati standard, cosa contiene ciascuna GPU?
    • Una copia completa del modello, elaborando una sezione diversa del batch
    • Una sezione diversa degli strati del modello
    • Solo lo stato dell'ottimizzatore, con i pesi memorizzati centralmente
    • Una versione compressa del modello con meno parametri
  2. Quale operazione di comunicazione mantiene sincronizzate le repliche del modello in ogni passaggio?
    • Broadcast, che copia i dati di una GPU su tutte le altre
    • Riduzione totale, che calcola la media dei gradienti su tutte le GPU
    • Scatter, che divide i dati tra le GPU
    • Non è necessaria alcuna comunicazione tra le GPU
  3. What memory limit remains in plain data parallelism?
    • The full model is sharded automatically across the GPUs
    • Only the input batch uses device memory
    • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
    • Each worker stores different model layers by default
  4. Which factors does NCCL use when selecting collective algorithms?
    • Only the random seed and learning rate
    • Only the total number of model parameters
    • The optimizer type and validation score
    • Message size and topology
  5. In che modo PyTorch DistributedDataParallel nasconde la latenza della comunicazione?
    • Sovrapponendo il gradiente si riduce tutto con il passaggio all'indietro in corso
    • Saltando la sincronizzazione del gradiente su passaggi alternati
    • Comprimendo tutti i gradienti in un singolo numero
    • Eseguendo il passaggio in avanti sulla CPU
  6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
    • B divided by W
    • B multiplied by W, before any gradient-accumulation factor
    • Always exactly W samples
    • The model parameter count divided by B
  7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
    • All-reduce makes model parameters disappear
    • The model is copied only to one worker
    • Gradient communication, data loading, and synchronization add overhead
    • More workers always reduce the global batch to zero
  8. What does gradient accumulation let a data-parallel training loop do?
    • Shard parameters automatically across all workers
    • Skip forward and backward computation
    • Replace the model with an all-reduce operation
    • Combine gradients from multiple microbatches before an optimizer update