Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Nesterov Accelerated Gradient

Δοκιμάστε το ρεύμα σε σχέση με τις κλίσεις προοπτικής, τη διόρθωση ορμής, το εύρος του κυρτού ρυθμού, το συγκρίσιμο κόστος, το Nadam και ένα αριθμητικό βήμα προοπτικής.

Σχετικές διαδρομές οδηγώνΕπιταχυνόμενη κλίση Nesterov
Ερώτηση 1 του 8

Ποια είναι η καθοριστική ιδέα της επιταχυνόμενης κλίσης Nesterov σε σύγκριση με την κλασική ορμή;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια είναι η καθοριστική ιδέα της επιταχυνόμενης κλίσης Nesterov σε σύγκριση με την κλασική ορμή;
    • Αφαιρεί εντελώς την ορμή
    • Χρησιμοποιεί σταθερό ρυθμό μάθησης 1,0
    • Αξιολογεί την κλίση σε ένα σημείο προοπτικής αντί για την τρέχουσα θέση
    • Λειτουργεί μόνο χωρίς μίνι παρτίδες
  2. Ποιο αποδεικτικό ποσοστό σύγκλισης επιτυγχάνει η μέθοδος του Nesterov σε ομαλά κυρτά προβλήματα;
    • Παραγγελία 1/k^2
    • Παραγγελία 1/κ
    • Παραγγελία 1/log k
    • Χωρίς εγγυημένη τιμή
  3. Ποιος εισήγαγε αρχικά αυτή τη μέθοδο επιταχυνόμενης κλίσης;
    • Ο Geoffrey Hinton το 2012
    • Ισαάκ Νεύτωνας
    • Τζον φον Νόιμαν
    • Ο Γιούρι Νεστέροφ το 1983
  4. Γιατί η κλίση του look-ahead βοηθά κοντά στα καμπύλα ελάχιστα;
    • Αυξάνει τον ρυθμό μάθησης
    • Προβλέπει υπέρβαση και εφαρμόζει μια διόρθωση πριν συμβεί
    • Διαγράφει τον όρο της ταχύτητας
    • Τυχαιοποιεί την κατεύθυνση του βήματος
  5. Στην πράξη, πώς συγκρίνεται το υπολογιστικό κόστος της ορμής Nesterov με την κλασική ορμή;
    • Περίπου το ίδιο, χάρη σε μια αλγεβρικά αναδιαταγμένη ενημέρωση
    • Περίπου δέκα φορές υψηλότερο
    • Απαιτεί δεύτερες παράγωγες σε κάθε βήμα
    • Δεν μπορεί να υπολογιστεί σε GPU
  6. Ποιος προσαρμοστικός βελτιστοποιητής συνδυάζει το look-ahead Nesterov με την κλιμάκωση τύπου Adam;
    • RMSprop
    • Adagrad
    • Nadam
    • LBFGS
  7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
    • 10.18
    • 9.82
    • 8.20
    • 10.90
  8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
    • At a point displaced by the full old velocity
    • At the previous validation score
    • At an arbitrary future minibatch
    • At the current parameter position