Quiz lié à un guide · Difficile Niveau

Quiz sur les optimiseurs ZeRO et Sharded

Couvre les étapes ZeRO, la mémoire d'état Adam, la collecte de paramètres, la réduction du gradient, les options de déchargement et les coûts de communication.

Chemins de guidage associésOptimiseurs zéro et fragmentés
Question 1 de 8

Quelle redondance ZeRO élimine-t-il par rapport au simple parallélisme des données ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle redondance ZeRO élimine-t-il par rapport au simple parallélisme des données ?
    • Dupliquer des copies complètes de l'état, des dégradés et des paramètres de l'optimiseur sur chaque GPU
    • Copies en double des données d'entraînement sur chaque GPU
    • Câbles réseau redondants entre les nœuds
    • Passes avant répétées sur le même lot
  2. Pourquoi l'état de l'optimiseur est-il souvent le plus gros consommateur de mémoire chez Adam ?
    • Adam ne stocke aucun état supplémentaire
    • Adam conserve des valeurs supplémentaires par paramètre (comme l'élan et la variance), souvent plusieurs fois la taille du modèle
    • Adam duplique l'intégralité de l'ensemble de données
    • Adam exige de stocker pour toujours chaque dégradé passé
  3. Qu'est-ce que ZeRO Stage 3 fragmente par rapport aux Stages 1 et 2 ?
    • Les données d'entraînement
    • La fonction de perte
    • Les paramètres du modèle eux-mêmes
    • La grille tarifaire d’apprentissage
  4. Dans ZeRO Stage 3, comment un GPU obtient-il tous les paramètres dont il a besoin pour le passage en avant d'une couche ?
    • Il n'a jamais besoin de tous les paramètres
    • Il les télécharge depuis Internet
    • Il les recalcule à partir de zéro à chaque fois
    • Il effectue une collecte totale pour collecter les tranches manquantes, puis les jette ensuite.
  5. Quelle fonctionnalité PyTorch implémente nativement le partitionnement de style ZeRO ?
    • FSDP (parallèle de données entièrement partagées)
    • Chargeur de données
    • TorchScript
    • Autograd
  6. Quel est le principal compromis que ZeRO fait pour économiser de la mémoire ?
    • Cela sacrifie la précision du modèle au profit de la vitesse
    • Il ajoute une communication supplémentaire pour rassembler et disperser les fragments selon les besoins
    • Il supprime les calques du modèle
    • Cela ne fonctionne qu'avec de très petits modèles
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients