Quiz collegato alla guida · Medio Livello
Quiz sul parallelismo dei dati
Esamina i modelli replicati, la sincronizzazione dei gradienti, il dimensionamento dei batch, i costi di comunicazione e i limiti della scalabilità della formazione tra i lavoratori.
Domanda 1 di 8
Nel parallelismo dei dati standard, cosa contiene ciascuna GPU?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Nel parallelismo dei dati standard, cosa contiene ciascuna GPU?
- Una copia completa del modello, elaborando una sezione diversa del batch
- Una sezione diversa degli strati del modello
- Solo lo stato dell'ottimizzatore, con i pesi memorizzati centralmente
- Una versione compressa del modello con meno parametri
- Quale operazione di comunicazione mantiene sincronizzate le repliche del modello in ogni passaggio?
- Broadcast, che copia i dati di una GPU su tutte le altre
- Riduzione totale, che calcola la media dei gradienti su tutte le GPU
- Scatter, che divide i dati tra le GPU
- Non è necessaria alcuna comunicazione tra le GPU
- What memory limit remains in plain data parallelism?
- The full model is sharded automatically across the GPUs
- Only the input batch uses device memory
- Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
- Each worker stores different model layers by default
- Which factors does NCCL use when selecting collective algorithms?
- Only the random seed and learning rate
- Only the total number of model parameters
- The optimizer type and validation score
- Message size and topology
- In che modo PyTorch DistributedDataParallel nasconde la latenza della comunicazione?
- Sovrapponendo il gradiente si riduce tutto con il passaggio all'indietro in corso
- Saltando la sincronizzazione del gradiente su passaggi alternati
- Comprimendo tutti i gradienti in un singolo numero
- Eseguendo il passaggio in avanti sulla CPU
- With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
- B divided by W
- B multiplied by W, before any gradient-accumulation factor
- Always exactly W samples
- The model parameter count divided by B
- Why may adding more data-parallel GPUs fail to increase throughput proportionally?
- All-reduce makes model parameters disappear
- The model is copied only to one worker
- Gradient communication, data loading, and synchronization add overhead
- More workers always reduce the global batch to zero
- What does gradient accumulation let a data-parallel training loop do?
- Shard parameters automatically across all workers
- Skip forward and backward computation
- Replace the model with an all-reduce operation
- Combine gradients from multiple microbatches before an optimizer update