Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor activering, herberekening, afwegingen
Testactivering, controleer punten op geheugenafwegingen, selectieve herberekening en correctheid van herhalingen, inclusief waarom extra rekenkracht niet alle geheugenkosten oplost.
Vraag 1 van 8
Wat levert herberekening van activering op om geheugen te besparen?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat levert herberekening van activering op om geheugen te besparen?
- Modelnauwkeurigheid
- Extra rekenkracht (FLOP's)
- Netwerkbandbreedte
- Numerieke precisie
- Waarom worden forward-pass-activaties normaal gesproken opgeslagen?
- Om ze aan de gebruiker weer te geven
- Om het model te comprimeren
- Ze zijn vereist voor tokenisatie
- Omdat backpropagation ze nodig heeft om gradiënten te berekenen
- Why should activation checkpointing overhead be measured on the actual model?
- Checkpoint placement, operators, and hardware determine the cost of replay
- It always adds exactly forty percent to wall-clock time
- It guarantees a tenfold speed improvement
- It removes all forward computation
- For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
- O(N squared) for all model parameters
- O(1) for all training memory regardless of N
- O(sqrt(N)) for activation storage
- O(N squared) for optimizer state
- Wat is het idee achter selectieve (niet volledige) herberekening?
- Bereken elke bewerking tweemaal opnieuw
- Bereken nooit iets opnieuw
- Bereken alleen de inbeddingslaag opnieuw
- Bereken alleen geheugenintensieve maar rekengoedkope operaties opnieuw, en cache dure operaties
- Welke complementaire techniek wordt vaak gecombineerd met herberekening om nog meer geheugen te besparen?
- Het vergroten van de batchgrootte
- Activeringen overzetten naar CPU of NVMe
- Alle normalisatielagen verwijderen
- Overschakelen naar de inferentiemodus
- A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
- Dropout becomes a model-weight quantizer
- The optimizer no longer needs gradients
- Backward recomputation should reproduce the intended forward randomness
- The batch size must become one
- Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
- Activation recomputation does not remove optimizer-state storage
- Checkpointing increases every optimizer tensor to FP64
- Backward no longer consumes any memory
- The model cannot use checkpointing with an optimizer