Kvíz spojený s průvodcem · Střední úroveň
Aktivace Recomputation Tradeoffs Kvíz
Testujte aktivaci kontrolních bodů paměti, selektivní přepočítávání a správnost přehrávání, včetně toho, proč extra výpočet neopraví všechny náklady na paměť.
Otázka 1 z 8
Co znamená přepočet aktivace za účelem úspory paměti?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co znamená přepočet aktivace za účelem úspory paměti?
- Přesnost modelu
- Extra výpočet (FLOP)
- Šířka pásma sítě
- Numerická přesnost
- Proč se aktivace dopředného průchodu normálně vůbec ukládají?
- Chcete-li je zobrazit uživateli
- Ke kompresi modelu
- Jsou vyžadovány pro tokenizaci
- Protože backpropagation je potřebuje k výpočtu gradientů
- Why should activation checkpointing overhead be measured on the actual model?
- Checkpoint placement, operators, and hardware determine the cost of replay
- It always adds exactly forty percent to wall-clock time
- It guarantees a tenfold speed improvement
- It removes all forward computation
- For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
- O(N squared) for all model parameters
- O(1) for all training memory regardless of N
- O(sqrt(N)) for activation storage
- O(N squared) for optimizer state
- Jaká je myšlenka za selektivním (ne úplným) přepočtem?
- Každou operaci přepočítejte dvakrát
- Nikdy nic nepřepočítávejte
- Přepočítat pouze vrstvu pro vkládání
- Přepočítávejte pouze operace náročné na paměť, ale výpočetně levné operace, drahé operace mezipaměti
- Která doplňková technika se často kombinuje s přepočtem, aby se ušetřilo ještě více paměti?
- Zvětšení velikosti dávky
- Přesunutí aktivací na CPU nebo NVMe
- Odstranění všech normalizačních vrstev
- Přepnutí do inferenčního režimu
- A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
- Dropout becomes a model-weight quantizer
- The optimizer no longer needs gradients
- Backward recomputation should reproduce the intended forward randomness
- The batch size must become one
- Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
- Activation recomputation does not remove optimizer-state storage
- Checkpointing increases every optimizer tensor to FP64
- Backward no longer consumes any memory
- The model cannot use checkpointing with an optimizer