Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ βαθμίδας ελέγχου

Εξηγεί την επαναυλοποίηση της ενεργοποίησης, την εξοικονόμηση μνήμης, τα γενικά έξοδα υπολογισμού που εξαρτώνται από το χρονοδιάγραμμα και τους συνδυασμούς με διαμοιρασμό και μικτή ακρίβεια.

Σχετικές διαδρομές οδηγώνΣημείο ελέγχου κλίσης
Ερώτηση 1 του 8

Τι ανταλλάσσει κυρίως το gradient checkpoint για εξοικονόμηση μνήμης;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι ανταλλάσσει κυρίως το gradient checkpoint για εξοικονόμηση μνήμης;
    • Επιπλέον υπολογισμός (επανυπολογισμός) για χαμηλότερη χρήση μνήμης
    • Ακρίβεια μοντέλου για ταχύτητα
    • Χώρος στο δίσκο για εύρος ζώνης δικτύου
    • Ακρίβεια για το μέγεθος της παρτίδας
  2. Γιατί αποθηκεύονται συνήθως οι ενεργοποιήσεις κατά τη διάρκεια του περάσματος προς τα εμπρός;
    • Για να τα εμφανίσετε στον χρήστη
    • Επειδή η αντίστροφη διάδοση τα χρειάζεται για να υπολογίσει τις κλίσεις
    • Για να επιταχύνετε τη φόρτωση δεδομένων
    • Ποτέ δεν χρειάζονται πραγματικά
  3. In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
    • It stores no activations and performs no recomputation
    • It guarantees constant memory for every model graph
    • Activation storage can scale on the order of sqrt(N) checkpoints
    • It makes optimizer-state memory scale as sqrt(N)
  4. What most determines gradient-checkpointing runtime overhead in a practical model?
    • Only the model’s file extension
    • A fixed 20–30% slowdown for every model
    • The number of labels in the dataset
    • Which operations are recomputed, checkpoint placement, graph structure, and hardware
  5. Στο PyTorch, ποιο βοηθητικό πρόγραμμα χρησιμοποιείται συνήθως για την εφαρμογή σημείων ελέγχου κλίσης σε μια λειτουργική μονάδα;
    • torch.utils.σημείο ελέγχου
    • πυρσός.optim.SGD
    • πυρσός.nn.Dropout
    • φακός.cuda.empty_cache
  6. What happens to operations inside a checkpointed region during backward?
    • Their gradients are skipped entirely
    • Their forward computations are rerun to regenerate needed activations
    • Their weights are permanently discarded
    • They are executed only during inference
  7. Which training techniques can be combined with activation checkpointing to reduce different memory costs?
    • Only increasing the number of labels
    • Turning off backpropagation
    • FSDP for sharded model state and mixed precision for lower-precision tensors
    • Replacing the model with a tokenizer
  8. What is selective activation checkpointing intended to choose?
    • Which training labels are removed
    • Which model outputs are published
    • Which GPU becomes the tokenizer
    • Which operations to save and which to recompute based on their memory and runtime costs