Quiz lié à un guide · Difficile Niveau

Quiz parallèle sur les données entièrement partagées

Couvre le partitionnement FSDP, la collecte totale et la réduction de la diffusion, le chevauchement des communications et les compromis entre la mémoire et le réseau dans la formation de grands modèles distribués.

Chemins de guidage associésDonnées entièrement partagées en parallèle
Question 1 de 8

Qu'est-ce que FSDP partage sur les GPU, contrairement au parallélisme de données standard ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'est-ce que FSDP partage sur les GPU, contrairement au parallélisme de données standard ?
    • Paramètres, gradients et états de l'optimiseur
    • Uniquement les lots d'entrée
    • Uniquement la grille tarifaire d'apprentissage
    • Les fichiers de l'ensemble de données d'entraînement sur le disque
  2. Quelle opération collective le FSDP utilise-t-il pour reconstruire les poids complets d'une couche juste avant de la calculer ?
    • Diffusion uniquement
    • Rassemblement
    • Dispersion
    • Barrière
  3. Pourquoi FSDP libère-t-il les poids complets rassemblés immédiatement après le calcul d'une couche ?
    • Pour corrompre les dégradés inutilisés
    • Pour forcer une boucle d’entraînement plus lente
    • Pour limiter l'empreinte mémoire permanente à un seul fragment par appareil
    • Parce que PyTorch les supprime au hasard
  4. Quelle approche antérieure d'optimisation de la mémoire s'est largement inspirée du FSDP ?
    • MapReduce de Google
    • RDD Apache Spark
    • Les cœurs CUDA de NVIDIA
    • ZeRO (optimiseur de redondance zéro) de Microsoft
  5. Comment FSDP masque-t-il une grande partie de la latence du réseau lors de la collecte de poids ?
    • En superposant la communication avec le calcul, en prélevant les paramètres de la couche suivante
    • En désactivant le passage en arrière
    • En compressant les poids en un seul bit
    • Par formation sur CPU uniquement
  6. Quelle opération collective distribue les tranches de dégradé combinées à leurs GPU propriétaires lors de la passe arrière ?
    • Duplication de tout à tous
    • Réduire la diffusion
    • Copie sur un seul GPU
    • Rassemblement uniquement
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication