Quiz sur les compromis de recalcul d'activation

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Qu'est-ce que le recalcul d'activation échange pour économiser de la mémoire ?
   • Précision du modèle
   • Calcul supplémentaire (FLOP)
   • Bande passante réseau
   • Précision numérique
2. Pourquoi les activations de passes avant sont-elles normalement stockées ?
   • Pour les afficher à l'utilisateur
   • Pour compresser le modèle
   • Ils sont requis pour la tokenisation
   • Parce que la rétropropagation en a besoin pour calculer les gradients
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. Quelle est l’idée derrière le recalcul sélectif (et non complet) ?
   • Recalculer chaque opération deux fois
   • Ne jamais rien recalculer
   • Recalculer uniquement la couche d'intégration
   • Recalculez uniquement les opérations gourmandes en mémoire mais peu coûteuses en calcul, mettez en cache les opérations coûteuses
6. Quelle technique complémentaire est souvent associée au recalcul pour économiser encore plus de mémoire ?
   • Augmenter la taille du lot
   • Déchargement des activations sur CPU ou NVMe
   • Suppression de toutes les couches de normalisation
   • Passer en mode inférence
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer