Test legat de ghid · Mediu Nivel

Test de paralelism de date

Review replicated models, gradient synchronization, batch sizing, communication costs, and the limits of scaling training across workers.

Căi de ghidare aferenteParalelismul datelor
Întrebare 1 de 8

În paralelismul standard de date, ce conține fiecare GPU?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. În paralelismul standard de date, ce conține fiecare GPU?
    • O copie completă a modelului, procesând o felie diferită a lotului
    • O felie diferită a straturilor modelului
    • Doar starea optimizatorului, cu greutăți stocate central
    • O versiune comprimată a modelului cu mai puțini parametri
  2. Ce operațiune de comunicare menține replicile modelului sincronizate la fiecare pas?
    • Broadcast, care copiază datele unui GPU pe toate celelalte
    • All-reduce, care face o medie a gradientelor pe toate GPU-urile
    • Scatter, care împarte datele între GPU-uri
    • Nu este necesară nicio comunicare între GPU-uri
  3. What memory limit remains in plain data parallelism?
    • The full model is sharded automatically across the GPUs
    • Only the input batch uses device memory
    • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
    • Each worker stores different model layers by default
  4. Which factors does NCCL use when selecting collective algorithms?
    • Only the random seed and learning rate
    • Only the total number of model parameters
    • The optimizer type and validation score
    • Message size and topology
  5. Cum ascunde PyTorch DistributedDataParallel latența de comunicare?
    • Prin suprapunerea gradientului, reduceți totul cu trecerea înapoi în curs de desfășurare
    • Omitând sincronizarea gradientului pe pași alternanți
    • Prin comprimarea tuturor gradienților la un singur număr
    • Prin rularea trecerii înainte pe CPU
  6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
    • B divided by W
    • B multiplied by W, before any gradient-accumulation factor
    • Always exactly W samples
    • The model parameter count divided by B
  7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
    • All-reduce makes model parameters disappear
    • The model is copied only to one worker
    • Gradient communication, data loading, and synchronization add overhead
    • More workers always reduce the global batch to zero
  8. What does gradient accumulation let a data-parallel training loop do?
    • Shard parameters automatically across all workers
    • Skip forward and backward computation
    • Replace the model with an all-reduce operation
    • Combine gradients from multiple microbatches before an optimizer update