Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Adatpárhuzamossági kvíz
Review replicated models, gradient synchronization, batch sizing, communication costs, and the limits of scaling training across workers.
kérdés 1 -ból 8
Szabványos adatpárhuzamban mit tartalmaznak az egyes GPU-k?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Szabványos adatpárhuzamban mit tartalmaznak az egyes GPU-k?
- A modell teljes másolata, amely a köteg egy másik szeletét dolgozza fel
- A modell rétegeinek egy másik szelete
- Csak az optimalizáló állapota, központilag tárolt súlyokkal
- A modell tömörített változata kevesebb paraméterrel
- Melyik kommunikációs művelet tartja szinkronban a modellreplikákat minden lépésben?
- Broadcast, amely egy GPU adatait másolja az összes többihez
- All-reduce, amely átlagolja a gradienseket az összes GPU-n
- Scatter, amely felosztja az adatokat a GPU-k között
- Nincs szükség kommunikációra a GPU-k között
- What memory limit remains in plain data parallelism?
- The full model is sharded automatically across the GPUs
- Only the input batch uses device memory
- Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
- Each worker stores different model layers by default
- Which factors does NCCL use when selecting collective algorithms?
- Only the random seed and learning rate
- Only the total number of model parameters
- The optimizer type and validation score
- Message size and topology
- Hogyan rejti el a PyTorch DistributedDataParallel a kommunikációs késleltetést?
- A gradiens átfedésével minden csökkentése a folyamatban lévő hátramenettel
- A színátmenet szinkronizálásának kihagyásával váltakozó lépéseken
- Az összes színátmenet egyetlen számra való tömörítésével
- A forward pass futtatásával a CPU-n
- With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
- B divided by W
- B multiplied by W, before any gradient-accumulation factor
- Always exactly W samples
- The model parameter count divided by B
- Why may adding more data-parallel GPUs fail to increase throughput proportionally?
- All-reduce makes model parameters disappear
- The model is copied only to one worker
- Gradient communication, data loading, and synchronization add overhead
- More workers always reduce the global batch to zero
- What does gradient accumulation let a data-parallel training loop do?
- Shard parameters automatically across all workers
- Skip forward and backward computation
- Replace the model with an all-reduce operation
- Combine gradients from multiple microbatches before an optimizer update