Gids-gekoppelde quiz · Middelmatig Niveau

Dataparallellisme-quiz

Bekijk gerepliceerde modellen, gradiëntsynchronisatie, batchgrootte, communicatiekosten en de beperkingen van het schalen van training voor werknemers.

Gerelateerde gidspadenGegevensparallellisme
Vraag 1 van 8

Wat bevat elke GPU bij standaard gegevensparallellisme?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat bevat elke GPU bij standaard gegevensparallellisme?
    • Een volledige kopie van het model, waarbij een ander deel van de batch wordt verwerkt
    • Een ander deel van de lagen van het model
    • Alleen de optimizerstatus, waarbij de gewichten centraal worden opgeslagen
    • Een gecomprimeerde versie van het model met minder parameters
  2. Welke communicatiebewerking zorgt ervoor dat de modelreplica's bij elke stap gesynchroniseerd blijven?
    • Broadcast, waarmee de gegevens van één GPU naar alle andere worden gekopieerd
    • All-reduce, waarmee de gradiënten over alle GPU's worden gemiddeld
    • Scatter, waarbij gegevens over GPU's worden verdeeld
    • Er is geen communicatie nodig tussen GPU's
  3. What memory limit remains in plain data parallelism?
    • The full model is sharded automatically across the GPUs
    • Only the input batch uses device memory
    • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
    • Each worker stores different model layers by default
  4. Which factors does NCCL use when selecting collective algorithms?
    • Only the random seed and learning rate
    • Only the total number of model parameters
    • The optimizer type and validation score
    • Message size and topology
  5. Hoe verbergt PyTorch DistributedDataParallel de communicatielatentie?
    • Door de overlappende gradiënt alles te verminderen met de voortdurende achterwaartse pas
    • Door de gradiëntsynchronisatie bij afwisselende stappen over te slaan
    • Door alle gradiënten tot één getal te comprimeren
    • Door de forward pass op de CPU uit te voeren
  6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
    • B divided by W
    • B multiplied by W, before any gradient-accumulation factor
    • Always exactly W samples
    • The model parameter count divided by B
  7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
    • All-reduce makes model parameters disappear
    • The model is copied only to one worker
    • Gradient communication, data loading, and synchronization add overhead
    • More workers always reduce the global batch to zero
  8. What does gradient accumulation let a data-parallel training loop do?
    • Shard parameters automatically across all workers
    • Skip forward and backward computation
    • Replace the model with an all-reduce operation
    • Combine gradients from multiple microbatches before an optimizer update