Quiz lié à un guide · Moyen Niveau

Quiz sur les points de contrôle de dégradé

Explique la rematérialisation de l'activation, les économies de mémoire, la surcharge de calcul dépendante de la planification et les combinaisons avec partitionnement et précision mixte.

Chemins de guidage associésPoints de contrôle de dégradé
Question 1 de 8

Qu'est-ce que les points de contrôle de gradient échangent principalement pour économiser de la mémoire ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'est-ce que les points de contrôle de gradient échangent principalement pour économiser de la mémoire ?
    • Calcul supplémentaire (recalcul) pour une utilisation moindre de la mémoire
    • Précision du modèle pour la vitesse
    • Espace disque pour la bande passante du réseau
    • Précision pour la taille du lot
  2. Pourquoi les activations sont-elles normalement stockées pendant la passe avant ?
    • Pour les afficher à l'utilisateur
    • Parce que la rétropropagation en a besoin pour calculer les gradients
    • Pour accélérer le chargement des données
    • Ils ne sont jamais réellement nécessaires
  3. In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
    • It stores no activations and performs no recomputation
    • It guarantees constant memory for every model graph
    • Activation storage can scale on the order of sqrt(N) checkpoints
    • It makes optimizer-state memory scale as sqrt(N)
  4. What most determines gradient-checkpointing runtime overhead in a practical model?
    • Only the model’s file extension
    • A fixed 20–30% slowdown for every model
    • The number of labels in the dataset
    • Which operations are recomputed, checkpoint placement, graph structure, and hardware
  5. Dans PyTorch, quel utilitaire est couramment utilisé pour appliquer des points de contrôle de dégradé à un module ?
    • torch.utils.checkpoint
    • torch.optim.SGD
    • torch.nn.Dropout
    • torch.cuda.empty_cache
  6. What happens to operations inside a checkpointed region during backward?
    • Their gradients are skipped entirely
    • Their forward computations are rerun to regenerate needed activations
    • Their weights are permanently discarded
    • They are executed only during inference
  7. Which training techniques can be combined with activation checkpointing to reduce different memory costs?
    • Only increasing the number of labels
    • Turning off backpropagation
    • FSDP for sharded model state and mixed precision for lower-precision tensors
    • Replacing the model with a tokenizer
  8. What is selective activation checkpointing intended to choose?
    • Which training labels are removed
    • Which model outputs are published
    • Which GPU becomes the tokenizer
    • Which operations to save and which to recompute based on their memory and runtime costs