Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Gradiens ellenőrző kvíz
Explains activation rematerialization, memory savings, schedule-dependent compute overhead, and combinations with sharding and mixed precision.
kérdés 1 -ból 8
Mivel kereskedik elsősorban a gradiens ellenőrzőpont a memória megtakarítása érdekében?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mivel kereskedik elsősorban a gradiens ellenőrzőpont a memória megtakarítása érdekében?
- Extra számítás (újraszámítás) az alacsonyabb memóriahasználat érdekében
- Modellpontosság a sebességhez
- Lemezterület a hálózati sávszélességhez
- Pontosság a tétel méretéhez
- Miért tárolódnak általában az aktiválások az előrehaladás során?
- Megjeleníteni őket a felhasználó számára
- Mert a visszaterjesztésnek szüksége van rájuk a színátmenetek kiszámításához
- Az adatbetöltés felgyorsítása érdekében
- Valójában soha nincs szükség rájuk
- In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
- It stores no activations and performs no recomputation
- It guarantees constant memory for every model graph
- Activation storage can scale on the order of sqrt(N) checkpoints
- It makes optimizer-state memory scale as sqrt(N)
- What most determines gradient-checkpointing runtime overhead in a practical model?
- Only the model’s file extension
- A fixed 20–30% slowdown for every model
- The number of labels in the dataset
- Which operations are recomputed, checkpoint placement, graph structure, and hardware
- A PyTorchban melyik segédprogramot használják általában a gradiens ellenőrzőpontok modulra történő alkalmazására?
- torch.utils.checkpoint
- fáklya.optim.SGD
- fáklya.nn.Lemorzsolódás
- torch.cuda.empty_cache
- What happens to operations inside a checkpointed region during backward?
- Their gradients are skipped entirely
- Their forward computations are rerun to regenerate needed activations
- Their weights are permanently discarded
- They are executed only during inference
- Which training techniques can be combined with activation checkpointing to reduce different memory costs?
- Only increasing the number of labels
- Turning off backpropagation
- FSDP for sharded model state and mixed precision for lower-precision tensors
- Replacing the model with a tokenizer
- What is selective activation checkpointing intended to choose?
- Which training labels are removed
- Which model outputs are published
- Which GPU becomes the tokenizer
- Which operations to save and which to recompute based on their memory and runtime costs