Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Adatpárhuzamossági kvíz

Review replicated models, gradient synchronization, batch sizing, communication costs, and the limits of scaling training across workers.

Kapcsolódó útmutató utakAdatpárhuzamosság
kérdés 1 -ból 8

Szabványos adatpárhuzamban mit tartalmaznak az egyes GPU-k?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Szabványos adatpárhuzamban mit tartalmaznak az egyes GPU-k?
    • A modell teljes másolata, amely a köteg egy másik szeletét dolgozza fel
    • A modell rétegeinek egy másik szelete
    • Csak az optimalizáló állapota, központilag tárolt súlyokkal
    • A modell tömörített változata kevesebb paraméterrel
  2. Melyik kommunikációs művelet tartja szinkronban a modellreplikákat minden lépésben?
    • Broadcast, amely egy GPU adatait másolja az összes többihez
    • All-reduce, amely átlagolja a gradienseket az összes GPU-n
    • Scatter, amely felosztja az adatokat a GPU-k között
    • Nincs szükség kommunikációra a GPU-k között
  3. What memory limit remains in plain data parallelism?
    • The full model is sharded automatically across the GPUs
    • Only the input batch uses device memory
    • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
    • Each worker stores different model layers by default
  4. Which factors does NCCL use when selecting collective algorithms?
    • Only the random seed and learning rate
    • Only the total number of model parameters
    • The optimizer type and validation score
    • Message size and topology
  5. Hogyan rejti el a PyTorch DistributedDataParallel a kommunikációs késleltetést?
    • A gradiens átfedésével minden csökkentése a folyamatban lévő hátramenettel
    • A színátmenet szinkronizálásának kihagyásával váltakozó lépéseken
    • Az összes színátmenet egyetlen számra való tömörítésével
    • A forward pass futtatásával a CPU-n
  6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
    • B divided by W
    • B multiplied by W, before any gradient-accumulation factor
    • Always exactly W samples
    • The model parameter count divided by B
  7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
    • All-reduce makes model parameters disappear
    • The model is copied only to one worker
    • Gradient communication, data loading, and synchronization add overhead
    • More workers always reduce the global batch to zero
  8. What does gradient accumulation let a data-parallel training loop do?
    • Shard parameters automatically across all workers
    • Skip forward and backward computation
    • Replace the model with an all-reduce operation
    • Combine gradients from multiple microbatches before an optimizer update