Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Aktiválási újraszámítási kompromisszumok kvíz
Test activation checkpointing memory tradeoffs, selective recomputation, and replay correctness, including why extra compute does not fix all memory costs.
kérdés 1 -ból 8
Mit vált ki az aktiválási újraszámítás a memória megtakarítása érdekében?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit vált ki az aktiválási újraszámítás a memória megtakarítása érdekében?
- Modell pontosság
- Extra számítás (FLOP)
- Hálózati sávszélesség
- Numerikus pontosság
- Miért tárolják általában az előre-pass aktiválásokat?
- Megjeleníteni őket a felhasználó számára
- A modell tömörítéséhez
- A tokenizáláshoz szükségesek
- Mert a visszaterjesztésnek szüksége van rájuk a színátmenetek kiszámításához
- Why should activation checkpointing overhead be measured on the actual model?
- Checkpoint placement, operators, and hardware determine the cost of replay
- It always adds exactly forty percent to wall-clock time
- It guarantees a tenfold speed improvement
- It removes all forward computation
- For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
- O(N squared) for all model parameters
- O(1) for all training memory regardless of N
- O(sqrt(N)) for activation storage
- O(N squared) for optimizer state
- Mi az ötlet a szelektív (nem teljes) újraszámítás mögött?
- Minden műveletet kétszer számoljon újra
- Soha ne számoljon újra semmit
- Csak a beágyazási réteget számítsa újra
- Csak a memóriaigényes, de olcsó műveleteket számolja újra, a drágábbakat pedig gyorsítótárazza
- Melyik kiegészítő technikát kombinálják gyakran újraszámítással, hogy még több memóriát takarítsanak meg?
- A tétel méretének növelése
- Aktiválások letöltése CPU-ra vagy NVMe-re
- Az összes normalizálási réteg eltávolítása
- Váltás következtetési módba
- A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
- Dropout becomes a model-weight quantizer
- The optimizer no longer needs gradients
- Backward recomputation should reproduce the intended forward randomness
- The batch size must become one
- Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
- Activation recomputation does not remove optimizer-state storage
- Checkpointing increases every optimizer tensor to FP64
- Backward no longer consumes any memory
- The model cannot use checkpointing with an optimizer