Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ βελτιστοποίησης δεύτερης τάξης και Newton Methods

Δοκιμάζει πώς η καμπυλότητα αλλάζει ένα βήμα βελτιστοποίησης, τι αποθηκεύουν οι μέθοδοι οιονεί Newton και πότε η ακριβής συμπεριφορά Newton εξαρτάται από έναν τετραγωνικό στόχο.

Σχετικές διαδρομές οδηγώνΒελτιστοποίηση δεύτερης τάξης και μέθοδοι Newton
Ερώτηση 1 του 8

Ποιες πληροφορίες χρησιμοποιεί η μέθοδος του Νεύτωνα που δεν χρησιμοποιεί η απλή κλίση;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιες πληροφορίες χρησιμοποιεί η μέθοδος του Νεύτωνα που δεν χρησιμοποιεί η απλή κλίση;
    • Καμπυλότητα, μέσω των δεύτερων παραγώγων στον πίνακα της Έσσης
    • Η ακριβής θέση του παγκόσμιου ελάχιστου
    • Το χρονοδιάγραμμα των ποσοστών μάθησης
    • Ο αριθμός των παραδειγμάτων εκπαίδευσης
  2. Για έναν απόλυτα τετραγωνικό στόχο, πόσα βήματα χρειάζεται η μέθοδος του Νεύτωνα για να φτάσει στο ελάχιστο;
    • Δέκα βήματα ακριβώς
    • Ένα βήμα
    • Ο ίδιος αριθμός με την κλίση κατάβασης
    • Δεν συγκλίνει ποτέ
  3. Γιατί η πλήρης μέθοδος του Νεύτωνα δεν είναι πρακτική για νευρωνικά δίκτυα δισεκατομμυρίων παραμέτρων;
    • Η διαβάθμιση δεν μπορεί να υπολογιστεί
    • Οι δεύτερες παράγωγοι είναι πάντα μηδέν στα νευρωνικά δίκτυα
    • Το Hessian είναι N-by-N, κοστίζει περίπου N-τετράγωνη μνήμη και N-cubed υπολογισμός για την αναστροφή
    • Λειτουργεί μόνο σε εικόνες
  4. Τι κάνουν οι σχεδόν Newton μέθοδοι όπως το BFGS για να αποφύγουν το κόστος του Hessian;
    • Αγνοούν εντελώς την κλίση
    • Μαντεύουν τυχαία την καμπυλότητα
    • Μετατρέπουν το πρόβλημα σε γραμμικό
    • Κατασκευάζουν μια προσέγγιση της αντίστροφης Έσσιας από διαδοχικές διαφορές κλίσης
  5. Πώς το L-BFGS μειώνει τη μνήμη σε σύγκριση με το BFGS;
    • Αποθηκεύει μόνο τα τελευταία διανύσματα κλίσης και βημάτων αντί για τον πλήρη πίνακα
    • Χρησιμοποιεί μόνο πλωτήρες απλής ακρίβειας
    • Απορρίπτει την κλίση μετά από κάθε βήμα
    • Προπονείται σε λιγότερες παραμέτρους
  6. Ποια σύγχρονη προσέγγιση προσεγγίζει την καμπυλότητα για να επιταχύνει την εκπαίδευση μεγάλων νευρωνικών δικτύων;
    • One-hot κωδικοποίηση
    • Μέθοδοι με παράγοντα Kronecker όπως το K-FAC και το Σαμπουάν
    • Απλή στοχαστική κλίση κατάβασης χωρίς τροποποιήσεις
    • Εγκατάλειψη
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes