Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Ενεργοποίηση Επανυπολογισμός Ανταλλαγής Κουίζ

Δοκιμάστε τις ανταλλαγές μνήμης με σημεία ελέγχου ενεργοποίησης, τον επιλεκτικό επανυπολογισμό και την ορθότητα αναπαραγωγής, συμπεριλαμβανομένου του γιατί ο επιπλέον υπολογισμός δεν διορθώνει όλα τα κόστη μνήμης.

Σχετικές διαδρομές οδηγώνΑνταλλαγές επανυπολογισμού ενεργοποίησης
Ερώτηση 1 του 8

Τι ανταλλάσσει ο επανυπολογισμός ενεργοποίησης για εξοικονόμηση μνήμης;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι ανταλλάσσει ο επανυπολογισμός ενεργοποίησης για εξοικονόμηση μνήμης;
    • Ακρίβεια μοντέλου
    • Επιπλέον υπολογισμός (FLOPs)
    • Εύρος ζώνης δικτύου
    • Αριθμητική ακρίβεια
  2. Γιατί αποθηκεύονται κανονικά οι ενεργοποιήσεις διέλευσης προς τα εμπρός;
    • Για να τα εμφανίσετε στον χρήστη
    • Για συμπίεση του μοντέλου
    • Απαιτούνται για τη συμβολή
    • Επειδή η αντίστροφη διάδοση τα χρειάζεται για να υπολογίσει τις κλίσεις
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. Ποια είναι η ιδέα πίσω από τον επιλεκτικό (όχι πλήρη) επανυπολογισμό;
    • Υπολογίστε ξανά κάθε λειτουργία δύο φορές
    • Ποτέ μην επανυπολογίζετε τίποτα
    • Υπολογίστε ξανά μόνο το επίπεδο ενσωμάτωσης
    • Υπολογίστε εκ νέου μόνο πλήθος μνήμης αλλά υπολογίστε φθηνές λειτουργίες, αποθηκεύστε προσωρινά ακριβές
  6. Ποια συμπληρωματική τεχνική συνδυάζεται συχνά με επανυπολογισμό για εξοικονόμηση ακόμη περισσότερης μνήμης;
    • Αύξηση του μεγέθους της παρτίδας
    • Μεταφόρτωση ενεργοποιήσεων σε CPU ή NVMe
    • Αφαίρεση όλων των επιπέδων κανονικοποίησης
    • Μετάβαση σε λειτουργία συμπερασμάτων
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer