Quiz collegato alla guida · Medio Livello
Quiz sul controllo del gradiente
Spiega la rimaterializzazione dell'attivazione, il risparmio di memoria, il sovraccarico di calcolo dipendente dalla pianificazione e le combinazioni con partizionamento orizzontale e precisione mista.
Domanda 1 di 8
Cosa viene scambiato principalmente con il checkpoint gradiente per risparmiare memoria?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa viene scambiato principalmente con il checkpoint gradiente per risparmiare memoria?
- Calcolo aggiuntivo (ricalcolo) per un utilizzo inferiore della memoria
- Precisione del modello per la velocità
- Spazio su disco per la larghezza di banda della rete
- Precisione per la dimensione del lotto
- Perché le attivazioni vengono normalmente memorizzate durante il passaggio in avanti?
- Per visualizzarli all'utente
- Perché la propagazione inversa ha bisogno che calcolino i gradienti
- Per velocizzare il caricamento dei dati
- Non sono mai realmente necessari
- In una catena semplificata di N livelli di dimensioni simili, cosa possono ottenere i limiti dei checkpoint distanziati di circa sqrt(N) livelli nella pianificazione dei libri di testo?
- It stores no activations and performs no recomputation
- It guarantees constant memory for every model graph
- Activation storage can scale on the order of sqrt(N) checkpoints
- It makes optimizer-state memory scale as sqrt(N)
- Che cosa determina maggiormente il sovraccarico di runtime del checkpoint del gradiente in un modello pratico?
- Only the model’s file extension
- A fixed 20–30% slowdown for every model
- The number of labels in the dataset
- Which operations are recomputed, checkpoint placement, graph structure, and hardware
- In PyTorch, quale utilità viene comunemente utilizzata per applicare il checkpoint del gradiente a un modulo?
- torch.utils.checkpoint
- torcia.optim.SGD
- torcia.nn.Dropout
- torch.cuda.empty_cache
- What happens to operations inside a checkpointed region during backward?
- Their gradients are skipped entirely
- Their forward computations are rerun to regenerate needed activations
- Their weights are permanently discarded
- They are executed only during inference
- Which training techniques can be combined with activation checkpointing to reduce different memory costs?
- Only increasing the number of labels
- Turning off backpropagation
- FSDP for sharded model state and mixed precision for lower-precision tensors
- Replacing the model with a tokenizer
- What is selective activation checkpointing intended to choose?
- Which training labels are removed
- Which model outputs are published
- Which GPU becomes the tokenizer
- Which operations to save and which to recompute based on their memory and runtime costs