Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor activering, herberekening, afwegingen

Testactivering, controleer punten op geheugenafwegingen, selectieve herberekening en correctheid van herhalingen, inclusief waarom extra rekenkracht niet alle geheugenkosten oplost.

Vraag 1 van 8

Wat levert herberekening van activering op om geheugen te besparen?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat levert herberekening van activering op om geheugen te besparen?
    • Modelnauwkeurigheid
    • Extra rekenkracht (FLOP's)
    • Netwerkbandbreedte
    • Numerieke precisie
  2. Waarom worden forward-pass-activaties normaal gesproken opgeslagen?
    • Om ze aan de gebruiker weer te geven
    • Om het model te comprimeren
    • Ze zijn vereist voor tokenisatie
    • Omdat backpropagation ze nodig heeft om gradiënten te berekenen
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. Wat is het idee achter selectieve (niet volledige) herberekening?
    • Bereken elke bewerking tweemaal opnieuw
    • Bereken nooit iets opnieuw
    • Bereken alleen de inbeddingslaag opnieuw
    • Bereken alleen geheugenintensieve maar rekengoedkope operaties opnieuw, en cache dure operaties
  6. Welke complementaire techniek wordt vaak gecombineerd met herberekening om nog meer geheugen te besparen?
    • Het vergroten van de batchgrootte
    • Activeringen overzetten naar CPU of NVMe
    • Alle normalisatielagen verwijderen
    • Overschakelen naar de inferentiemodus
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer