Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ συσσώρευσης κλίσης

Δοκιμάστε τα αθροίσματα διαβάθμισης μικρο-παρτίδων, το πραγματικό μέγεθος παρτίδας, την κλιμάκωση των απωλειών, το χρονισμό του βελτιστοποιητή, τα όρια κανονικοποίησης και τα σφάλματα πρόωρης επαναφοράς.

Σχετικές διαδρομές οδηγώνΣυσσώρευση κλίσης
Ερώτηση 1 του 8

Τι σας επιτρέπει να κάνετε κυρίως η συσσώρευση διαβάθμισης;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι σας επιτρέπει να κάνετε κυρίως η συσσώρευση διαβάθμισης;
    • Προπονηθείτε χωρίς GPU
    • Παραλείψτε το πέρασμα προς τα πίσω
    • Προσομοιώστε ένα μεγαλύτερο αποτελεσματικό μέγεθος παρτίδας σε περιορισμένη μνήμη
    • Καταργήστε εντελώς το βελτιστοποιητή
  2. Με τα βήματα συσσώρευσης μεγέθους μικρο-παρτίδας 4 και 8, το πραγματικό μέγεθος παρτίδας είναι:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • Μετά από κάθε μικρο-παρτίδα
    • Ποτέ
    • Πριν την πάσα προς τα εμπρός
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. Για να διατηρηθεί σωστός ο αποτελεσματικός ρυθμός εκμάθησης, η απώλεια ανά μικρο-παρτίδα είναι συνήθως:
    • Πολλαπλασιάζεται επί Ν
    • Διαιρείται με τον αριθμό των βημάτων συσσώρευσης N
    • Ορίστε στο μηδέν
    • Αντικαταστάθηκε με ακρίβεια
  5. Ποιο στρώμα κανονικοποίησης ζευγαρώνει πιο καθαρά με τη συσσώρευση κλίσης;
    • Κανονικοποίηση επιπέδων ή ομάδων, καθώς δεν εξαρτώνται από στατιστικά στοιχεία παρτίδας
    • Ομαλοποίηση παρτίδων, γιατί αγαπά τις μικροσκοπικές παρτίδες
    • Καμία κανονικοποίηση δεν λειτουργεί με αυτό
    • Μόνο εγκατάλειψη
  6. Το κύριο κόστος χρήσης της συσσώρευσης κλίσης είναι:
    • Περισσότερη μνήμη GPU χρησιμοποιείται στο μέγιστο
    • Απώλεια όλων των κλίσεων
    • Μεγαλύτερος χρόνος ρολογιού τοίχου ανά αποτελεσματική ενημέρωση
    • Αδυναμία χρήσης βελτιστοποιητή
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch