Quiz collegato alla guida · Medio Livello

Quiz sui compromessi di ricalcolo dell'attivazione

Testare l'attivazione verificando i compromessi della memoria, il ricalcolo selettivo e la correttezza della riproduzione, incluso il motivo per cui il calcolo aggiuntivo non risolve tutti i costi della memoria.

Domanda 1 di 8

Cosa viene sacrificato dal ricalcolo dell'attivazione per risparmiare memoria?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa viene sacrificato dal ricalcolo dell'attivazione per risparmiare memoria?
    • Precisione del modello
    • Calcolo aggiuntivo (FLOP)
    • Larghezza di banda della rete
    • Precisione numerica
  2. Perché le attivazioni di passaggio in avanti vengono normalmente archiviate?
    • Per visualizzarli all'utente
    • Per comprimere il modello
    • Sono necessari per la tokenizzazione
    • Perché la propagazione inversa ha bisogno che calcolino i gradienti
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. Qual è l'idea alla base del ricalcolo selettivo (non completo)?
    • Ricalcolare ogni operazione due volte
    • Non ricalcolare mai nulla
    • Ricalcolare solo il livello di incorporamento
    • Ricalcola solo le operazioni pesanti in termini di memoria ma a basso costo di calcolo, memorizza nella cache quelle costose
  6. Quale tecnica complementare viene spesso combinata con il ricalcolo per risparmiare ancora più memoria?
    • Aumentare la dimensione del lotto
    • Scaricamento delle attivazioni su CPU o NVMe
    • Rimozione di tutti gli strati di normalizzazione
    • Passaggio alla modalità di inferenza
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer