Quiz privind compensarea calculului de activare

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce schimbă recalcularea activării pentru a economisi memorie?
   • Precizia modelului
   • Calcul suplimentar (FLOP)
   • Lățimea de bandă a rețelei
   • Precizie numerică
2. De ce activările de trecere înainte sunt în mod normal stocate?
   • Pentru a le afișa utilizatorului
   • Pentru a comprima modelul
   • Sunt necesare pentru tokenizare
   • Deoarece retropropagarea are nevoie de ele pentru a calcula gradienții
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. Care este ideea din spatele recalculării selective (nu complete)?
   • Recalculați fiecare operație de două ori
   • Nu recalculați niciodată nimic
   • Recalculați numai stratul de încorporare
   • Recalculați numai operațiuni grele de memorie, dar ieftine, păstrați-le în cache pe cele costisitoare
6. Ce tehnică complementară este adesea combinată cu recalcularea pentru a economisi și mai multă memorie?
   • Creșterea dimensiunii lotului
   • Descărcarea activărilor pe CPU sau NVMe
   • Eliminarea tuturor straturilor de normalizare
   • Trecerea la modul de inferență
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer