Gids-gekoppelde quiz · Middelmatig Niveau
Dataparallellisme-quiz
Bekijk gerepliceerde modellen, gradiëntsynchronisatie, batchgrootte, communicatiekosten en de beperkingen van het schalen van training voor werknemers.
Vraag 1 van 8
Wat bevat elke GPU bij standaard gegevensparallellisme?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat bevat elke GPU bij standaard gegevensparallellisme?
- Een volledige kopie van het model, waarbij een ander deel van de batch wordt verwerkt
- Een ander deel van de lagen van het model
- Alleen de optimizerstatus, waarbij de gewichten centraal worden opgeslagen
- Een gecomprimeerde versie van het model met minder parameters
- Welke communicatiebewerking zorgt ervoor dat de modelreplica's bij elke stap gesynchroniseerd blijven?
- Broadcast, waarmee de gegevens van één GPU naar alle andere worden gekopieerd
- All-reduce, waarmee de gradiënten over alle GPU's worden gemiddeld
- Scatter, waarbij gegevens over GPU's worden verdeeld
- Er is geen communicatie nodig tussen GPU's
- What memory limit remains in plain data parallelism?
- The full model is sharded automatically across the GPUs
- Only the input batch uses device memory
- Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
- Each worker stores different model layers by default
- Which factors does NCCL use when selecting collective algorithms?
- Only the random seed and learning rate
- Only the total number of model parameters
- The optimizer type and validation score
- Message size and topology
- Hoe verbergt PyTorch DistributedDataParallel de communicatielatentie?
- Door de overlappende gradiënt alles te verminderen met de voortdurende achterwaartse pas
- Door de gradiëntsynchronisatie bij afwisselende stappen over te slaan
- Door alle gradiënten tot één getal te comprimeren
- Door de forward pass op de CPU uit te voeren
- With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
- B divided by W
- B multiplied by W, before any gradient-accumulation factor
- Always exactly W samples
- The model parameter count divided by B
- Why may adding more data-parallel GPUs fail to increase throughput proportionally?
- All-reduce makes model parameters disappear
- The model is copied only to one worker
- Gradient communication, data loading, and synchronization add overhead
- More workers always reduce the global batch to zero
- What does gradient accumulation let a data-parallel training loop do?
- Shard parameters automatically across all workers
- Skip forward and backward computation
- Replace the model with an all-reduce operation
- Combine gradients from multiple microbatches before an optimizer update