Quiz lié à un guide · Difficile Niveau

Quiz sur le parallélisme des modèles et des pipelines

Explique le partitionnement du tenseur et du pipeline, les transferts d'activation, les planifications de microbatch, les bulles de pipeline et les compromis de communication.

Chemins de guidage associésParallélisme des modèles et des pipelines
Question 1 de 8

Quel problème fondamental le parallélisme des modèles et des pipelines résout-il ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel problème fondamental le parallélisme des modèles et des pipelines résout-il ?
    • Un modèle trop volumineux pour tenir dans la mémoire d'un seul GPU
    • Chargement lent des données à partir du disque
    • Des dégradés qui explosent pendant l'entraînement
    • Trop peu d’exemples de formation disponibles
  2. Comment fonctionne la division du parallélisme tenseur (intra-couche) ?
    • Il attribue des couches entières à différents GPU
    • Il divise les calculs à l'intérieur d'une couche, comme une multiplication matricielle, entre les GPU
    • Il duplique chaque couche sur chaque GPU
    • Il exécute chaque couche deux fois pour la redondance
  3. Qu'est-ce que la « bulle » dans le parallélisme naïf des pipelines ?
    • Une fuite de mémoire qui s'amplifie avec le temps
    • Une copie en double de l'état de l'optimiseur
    • Temps d'inactivité pendant lequel les GPU en aval attendent que les étapes en amont produisent des activations
    • Un pic dans les valeurs de gradient
  4. Comment le parallélisme des pipelines réduit-il la bulle ?
    • En utilisant un taux d'apprentissage plus faible
    • En supprimant quelques calques du modèle
    • En stockant les activations sur le CPU
    • En divisant chaque lot en micro-lots qui franchissent les étapes de manière échelonnée
  5. Pourquoi le parallélisme tensoriel est-il généralement conservé au sein d'un seul nœud ?
    • Parce que sa réduction fréquente de résultats partiels bénéficie de liaisons intra-nœuds rapides comme NVLink
    • Parce que cela ne nécessite aucune communication
    • Parce que les nœuds ne peuvent pas du tout partager des données
    • Parce qu'il ne prend en charge qu'un seul GPU
  6. Quel cadre est le plus connu pour le parallélisme tensoriel dans la formation des transformateurs ?
    • scikit-apprendre
    • NVIDIA Mégatron-LM
    • OuvrirCV
    • Pandas
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation