Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Προγραμματισμού Ρυθμού Μάθησης

Ελέγχει τα χρονοδιαγράμματα προθέρμανσης, συνημιτόνου και βημάτων, συμπεριφορά επανεκκίνησης, πρώιμη αστάθεια και την κοινή συνταγή προπόνησης προθέρμανσης και μετά αποσύνθεσης.

Σχετικές διαδρομές οδηγώνΠρογραμματισμός Ρυθμού Μάθησης
Ερώτηση 1 του 8

Ποιος είναι ο σκοπός μιας φάσης «προθέρμανσης» σε ένα πρόγραμμα ρυθμών μάθησης;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιος είναι ο σκοπός μιας φάσης «προθέρμανσης» σε ένα πρόγραμμα ρυθμών μάθησης;
    • Για να ξεκινήσετε με μικρό ρυθμό και να ανεβείτε, αποφεύγοντας την αστάθεια από πρώιμες θορυβώδεις κλίσεις
    • Για να μειωθεί η τελική ακρίβεια
    • Για να παραλείψετε τις πρώτες παρτίδες δεδομένων
    • Να παγώσει όλα τα βάρη στην αρχή
  2. Ποιο χρονοδιάγραμμα ακολουθεί ομαλά μια καμπύλη ημιημιτονίου προς τα κάτω προς έναν ελάχιστο ρυθμό;
    • Σταθερό πρόγραμμα
    • Συνημιτονική ανόπτηση
    • Τυχαίο πρόγραμμα
    • Γραμμική αύξηση
  3. Τι συμβαίνει εάν το ποσοστό μάθησης οριστεί πολύ υψηλό;
    • Η προπόνηση συγκλίνει αμέσως με τέλεια ακρίβεια
    • Το μοντέλο προπονείται πιο αργά αλλά πάντα τα καταφέρνει
    • Η απώλεια μπορεί να αποκλίνει ή να ταλαντώνεται αντί να μειώνεται
    • Δεν αλλάζει τίποτα. το ποσοστό δεν έχει καμία επίδραση
  4. Τι κάνει η αποσύνθεση σταδίων στο ρυθμό μάθησης;
    • Το αυξάνει γραμμικά κάθε παρτίδα
    • Το διατηρεί απόλυτα σταθερό
    • Το ορίζει τυχαία σε κάθε βήμα
    • Το μειώνει κατά έναν σταθερό παράγοντα σε προκαθορισμένες εποχές
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • The number of model layers
    • Το μέγεθος της παρτίδας
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate