Quiz dotyczący kompromisów w zakresie przeliczenia aktywacji

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co zmienia rekomputacja aktywacji, aby zaoszczędzić pamięć?
   • Dokładność modelu
   • Dodatkowe obliczenia (FLOP)
   • Przepustowość sieci
   • Precyzja numeryczna
2. Dlaczego aktywacje przekazywania w przód są zwykle w ogóle przechowywane?
   • Aby wyświetlić je użytkownikowi
   • Aby skompresować model
   • Są wymagane do tokenizacji
   • Ponieważ propagacja wsteczna wymaga ich obliczenia gradientów
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. Jaka jest idea selektywnej (nie pełnej) rekomputacji?
   • Przelicz każdą operację dwukrotnie
   • Nigdy niczego nie przeliczaj
   • Oblicz ponownie tylko warstwę osadzającą
   • Przeliczaj ponownie tylko operacje wymagające dużej ilości pamięci, ale tanie w obliczeniach, a drogie w pamięci podręcznej
6. Którą technikę uzupełniającą często łączy się z ponownym obliczeniem, aby zaoszczędzić jeszcze więcej pamięci?
   • Zwiększanie wielkości partii
   • Przenoszenie aktywacji na procesor lub NVMe
   • Usuwanie wszystkich warstw normalizacyjnych
   • Przełączanie do trybu wnioskowania
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer