Kvíz spojený s průvodcem · Střední úroveň

Aktivace Recomputation Tradeoffs Kvíz

Testujte aktivaci kontrolních bodů paměti, selektivní přepočítávání a správnost přehrávání, včetně toho, proč extra výpočet neopraví všechny náklady na paměť.

Související vodicí cestyKompromisy aktivace přepočtu
Otázka 1 z 8

Co znamená přepočet aktivace za účelem úspory paměti?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co znamená přepočet aktivace za účelem úspory paměti?
    • Přesnost modelu
    • Extra výpočet (FLOP)
    • Šířka pásma sítě
    • Numerická přesnost
  2. Proč se aktivace dopředného průchodu normálně vůbec ukládají?
    • Chcete-li je zobrazit uživateli
    • Ke kompresi modelu
    • Jsou vyžadovány pro tokenizaci
    • Protože backpropagation je potřebuje k výpočtu gradientů
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. Jaká je myšlenka za selektivním (ne úplným) přepočtem?
    • Každou operaci přepočítejte dvakrát
    • Nikdy nic nepřepočítávejte
    • Přepočítat pouze vrstvu pro vkládání
    • Přepočítávejte pouze operace náročné na paměť, ale výpočetně levné operace, drahé operace mezipaměti
  6. Která doplňková technika se často kombinuje s přepočtem, aby se ušetřilo ještě více paměti?
    • Zvětšení velikosti dávky
    • Přesunutí aktivací na CPU nebo NVMe
    • Odstranění všech normalizačních vrstev
    • Přepnutí do inferenčního režimu
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer