Quiz collegato alla guida · Medio Livello
Quiz sui compromessi di ricalcolo dell'attivazione
Testare l'attivazione verificando i compromessi della memoria, il ricalcolo selettivo e la correttezza della riproduzione, incluso il motivo per cui il calcolo aggiuntivo non risolve tutti i costi della memoria.
Domanda 1 di 8
Cosa viene sacrificato dal ricalcolo dell'attivazione per risparmiare memoria?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa viene sacrificato dal ricalcolo dell'attivazione per risparmiare memoria?
- Precisione del modello
- Calcolo aggiuntivo (FLOP)
- Larghezza di banda della rete
- Precisione numerica
- Perché le attivazioni di passaggio in avanti vengono normalmente archiviate?
- Per visualizzarli all'utente
- Per comprimere il modello
- Sono necessari per la tokenizzazione
- Perché la propagazione inversa ha bisogno che calcolino i gradienti
- Why should activation checkpointing overhead be measured on the actual model?
- Checkpoint placement, operators, and hardware determine the cost of replay
- It always adds exactly forty percent to wall-clock time
- It guarantees a tenfold speed improvement
- It removes all forward computation
- For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
- O(N squared) for all model parameters
- O(1) for all training memory regardless of N
- O(sqrt(N)) for activation storage
- O(N squared) for optimizer state
- Qual è l'idea alla base del ricalcolo selettivo (non completo)?
- Ricalcolare ogni operazione due volte
- Non ricalcolare mai nulla
- Ricalcolare solo il livello di incorporamento
- Ricalcola solo le operazioni pesanti in termini di memoria ma a basso costo di calcolo, memorizza nella cache quelle costose
- Quale tecnica complementare viene spesso combinata con il ricalcolo per risparmiare ancora più memoria?
- Aumentare la dimensione del lotto
- Scaricamento delle attivazioni su CPU o NVMe
- Rimozione di tutti gli strati di normalizzazione
- Passaggio alla modalità di inferenza
- A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
- Dropout becomes a model-weight quantizer
- The optimizer no longer needs gradients
- Backward recomputation should reproduce the intended forward randomness
- The batch size must become one
- Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
- Activation recomputation does not remove optimizer-state storage
- Checkpointing increases every optimizer tensor to FP64
- Backward no longer consumes any memory
- The model cannot use checkpointing with an optimizer