Quiz sur le parallélisme tensoriel pour les grands modèles

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Qu'est-ce qui divise le parallélisme tensoriel entre les GPU ?
   • Les matrices de poids au sein d’une seule couche
   • Couches entières placées sur des GPU séparés
   • Différents ensembles de données de formation
   • Le taux d'apprentissage de l'optimiseur
2. Dans la division MLP de style Megatron, comment les deux matrices de poids sont-elles partitionnées pour minimiser la communication ?
   • Les deux colonnes
   • Première colonne, deuxième ligne
   • Les deux en rangées
   • Ils ne sont pas du tout cloisonnés
3. Pourquoi le parallélisme tensoriel est-il généralement conservé au sein d'un seul nœud ?
   • Les nœuds ne peuvent pas exécuter de GPU
   • Les GPU dans différents nœuds utilisent des mathématiques différentes
   • Il nécessite des communications fréquentes à large bande passante, mieux servies par NVLink
   • C'est une obligation légale
4. Comment le mécanisme d'attention est-il généralement parallélisé sous le parallélisme tensoriel ?
   • En accordant à chaque GPU toute l'attention du calcul de manière redondante
   • En ignorant complètement l'attention
   • En convertissant l'attention en une circonvolution
   • En répartissant les différentes têtes d'attention, chaque GPU gère un sous-ensemble
5. Quelle opération collective combine généralement des résultats partiels dans le parallélisme tensoriel ?
   • Un tout réduit
   • Une copie de fichier
   • Une jointure à une base de données
   • Une recherche DNS
6. Comment le parallélisme tensoriel s'intègre-t-il généralement dans le « parallélisme 3D » ?
   • Il remplace toutes les autres formes de parallélisme
   • Il est combiné avec le parallélisme des pipelines et des données
   • Cela fonctionne uniquement sans aucun autre parallélisme
   • Il est utilisé uniquement pour les modèles d'image
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates