Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ αποσύνθεσης βάρους και ρύθμισης L2

Δοκιμή κυρώσεων L2, συρρίκνωση προς το μηδέν, ισοδυναμία SGD, αποσύνδεση AdamW, προσαρμοστική κλιμάκωση και δύναμη φθοράς στην προπόνηση.

Σχετικές διαδρομές οδηγώνΑποσύνθεση βάρους και τακτοποίηση L2
Ερώτηση 1 του 8

Τι προσθέτει η τακτοποίηση L2 στη συνάρτηση απώλειας;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι προσθέτει η τακτοποίηση L2 στη συνάρτηση απώλειας;
    • Ο αριθμός των επιπέδων στο δίκτυο
    • Μια ποινή στο ποσοστό εκμάθησης
    • Ο αριθμός των παραδειγμάτων εκπαίδευσης
    • Μια ποινή ανάλογη με το άθροισμα των τετραγωνικών βαρών
  2. Ποιο είναι το κύριο πρόβλημα που βοηθά στην πρόληψη της αποσύνθεσης βάρους;
    • Αργή φόρτωση δεδομένων
    • Υπερπροσαρμογή, όπου το μοντέλο απομνημονεύει τον θόρυβο στα δεδομένα εκπαίδευσης
    • Βλάβες υλικού
    • Λανθασμένες ετικέτες
  3. Προς ποια κατεύθυνση η αποσύνθεση του βάρους ωθεί τα βάρη του μοντέλου;
    • Προς το άπειρο
    • Προς το μεγαλύτερο βάρος
    • Προς το μηδέν
    • Προς τυχαίες τιμές
  4. Γιατί παρουσιάστηκε το AdamW;
    • Για να αποσυνδέσετε την αποσύνδεση βάρους από την προσαρμοστική ενημέρωση κλίσης, ώστε η αποσύνθεση να συμπεριφέρεται σωστά
    • Για να αφαιρέσετε εντελώς την κλίση
    • Για να κάνετε την προπόνηση πιο αργή επίτηδες
    • Για να εξαλειφθεί η ανάγκη για ποσοστό μάθησης
  5. Για την απλή στοχαστική κλίση κάθοδος, πώς σχετίζονται η τακτοποίηση του L2 και η μείωση του βάρους;
    • Είναι πάντα αντίθετοι
    • Είναι μαθηματικά ισοδύναμα
    • Η μείωση του βάρους απενεργοποιεί την κλίση
    • Το L2 λειτουργεί μόνο για SGD με ορμή
  6. Τι ελέγχει ο συντελεστής λάμδα στην τακτοποίηση L2;
    • Το μέγεθος της παρτίδας
    • Ο αριθμός των εποχών
    • Η λειτουργία ενεργοποίησης
    • Η δύναμη της ποινής στα μεγάλα βάρη
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size