Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Aktiválási újraszámítási kompromisszumok kvíz

Test activation checkpointing memory tradeoffs, selective recomputation, and replay correctness, including why extra compute does not fix all memory costs.

kérdés 1 -ból 8

Mit vált ki az aktiválási újraszámítás a memória megtakarítása érdekében?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit vált ki az aktiválási újraszámítás a memória megtakarítása érdekében?
    • Modell pontosság
    • Extra számítás (FLOP)
    • Hálózati sávszélesség
    • Numerikus pontosság
  2. Miért tárolják általában az előre-pass aktiválásokat?
    • Megjeleníteni őket a felhasználó számára
    • A modell tömörítéséhez
    • A tokenizáláshoz szükségesek
    • Mert a visszaterjesztésnek szüksége van rájuk a színátmenetek kiszámításához
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. Mi az ötlet a szelektív (nem teljes) újraszámítás mögött?
    • Minden műveletet kétszer számoljon újra
    • Soha ne számoljon újra semmit
    • Csak a beágyazási réteget számítsa újra
    • Csak a memóriaigényes, de olcsó műveleteket számolja újra, a drágábbakat pedig gyorsítótárazza
  6. Melyik kiegészítő technikát kombinálják gyakran újraszámítással, hogy még több memóriát takarítsanak meg?
    • A tétel méretének növelése
    • Aktiválások letöltése CPU-ra vagy NVMe-re
    • Az összes normalizálási réteg eltávolítása
    • Váltás következtetési módba
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer