Quiz collegato alla guida · Medio Livello

Quiz sul controllo del gradiente

Spiega la rimaterializzazione dell'attivazione, il risparmio di memoria, il sovraccarico di calcolo dipendente dalla pianificazione e le combinazioni con partizionamento orizzontale e precisione mista.

Percorsi guida correlatiCheckpoint del gradiente
Domanda 1 di 8

Cosa viene scambiato principalmente con il checkpoint gradiente per risparmiare memoria?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa viene scambiato principalmente con il checkpoint gradiente per risparmiare memoria?
    • Calcolo aggiuntivo (ricalcolo) per un utilizzo inferiore della memoria
    • Precisione del modello per la velocità
    • Spazio su disco per la larghezza di banda della rete
    • Precisione per la dimensione del lotto
  2. Perché le attivazioni vengono normalmente memorizzate durante il passaggio in avanti?
    • Per visualizzarli all'utente
    • Perché la propagazione inversa ha bisogno che calcolino i gradienti
    • Per velocizzare il caricamento dei dati
    • Non sono mai realmente necessari
  3. In una catena semplificata di N livelli di dimensioni simili, cosa possono ottenere i limiti dei checkpoint distanziati di circa sqrt(N) livelli nella pianificazione dei libri di testo?
    • It stores no activations and performs no recomputation
    • It guarantees constant memory for every model graph
    • Activation storage can scale on the order of sqrt(N) checkpoints
    • It makes optimizer-state memory scale as sqrt(N)
  4. Che cosa determina maggiormente il sovraccarico di runtime del checkpoint del gradiente in un modello pratico?
    • Only the model’s file extension
    • A fixed 20–30% slowdown for every model
    • The number of labels in the dataset
    • Which operations are recomputed, checkpoint placement, graph structure, and hardware
  5. In PyTorch, quale utilità viene comunemente utilizzata per applicare il checkpoint del gradiente a un modulo?
    • torch.utils.checkpoint
    • torcia.optim.SGD
    • torcia.nn.Dropout
    • torch.cuda.empty_cache
  6. What happens to operations inside a checkpointed region during backward?
    • Their gradients are skipped entirely
    • Their forward computations are rerun to regenerate needed activations
    • Their weights are permanently discarded
    • They are executed only during inference
  7. Which training techniques can be combined with activation checkpointing to reduce different memory costs?
    • Only increasing the number of labels
    • Turning off backpropagation
    • FSDP for sharded model state and mixed precision for lower-precision tensors
    • Replacing the model with a tokenizer
  8. What is selective activation checkpointing intended to choose?
    • Which training labels are removed
    • Which model outputs are published
    • Which GPU becomes the tokenizer
    • Which operations to save and which to recompute based on their memory and runtime costs