Quiz lié à un guide · Moyen Niveau

Quiz sur le parallélisme des données

Passez en revue les modèles répliqués, la synchronisation des gradients, le dimensionnement des lots, les coûts de communication et les limites de la mise à l'échelle de la formation entre les travailleurs.

Chemins de guidage associésParallélisme des données
Question 1 de 8

Dans le parallélisme de données standard, que contient chaque GPU ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Dans le parallélisme de données standard, que contient chaque GPU ?
    • Une copie complète du modèle, traitant une tranche différente du lot
    • Une tranche différente des calques du modèle
    • Uniquement l'état de l'optimiseur, avec des poids stockés de manière centralisée
    • Une version compressée du modèle avec moins de paramètres
  2. Quelle opération de communication maintient les répliques du modèle synchronisées à chaque étape ?
    • Broadcast, qui copie les données d'un GPU sur tous les autres
    • All-reduce, qui fait la moyenne des dégradés sur tous les GPU
    • Scatter, qui divise les données entre les GPU
    • Aucune communication n'est nécessaire entre les GPU
  3. What memory limit remains in plain data parallelism?
    • The full model is sharded automatically across the GPUs
    • Only the input batch uses device memory
    • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
    • Each worker stores different model layers by default
  4. Which factors does NCCL use when selecting collective algorithms?
    • Only the random seed and learning rate
    • Only the total number of model parameters
    • The optimizer type and validation score
    • Message size and topology
  5. Comment PyTorch DistributedDataParallel masque-t-il la latence de communication ?
    • En superposant le dégradé, réduisez tout avec la passe arrière en cours
    • En sautant la synchronisation du dégradé sur des étapes alternées
    • En compressant tous les dégradés en un seul numéro
    • En exécutant la passe avant sur le CPU
  6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
    • B divided by W
    • B multiplied by W, before any gradient-accumulation factor
    • Always exactly W samples
    • The model parameter count divided by B
  7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
    • All-reduce makes model parameters disappear
    • The model is copied only to one worker
    • Gradient communication, data loading, and synchronization add overhead
    • More workers always reduce the global batch to zero
  8. What does gradient accumulation let a data-parallel training loop do?
    • Shard parameters automatically across all workers
    • Skip forward and backward computation
    • Replace the model with an all-reduce operation
    • Combine gradients from multiple microbatches before an optimizer update