Στοχαστική κλίση κατάβασης με κουίζ ορμής

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι συσσωρεύει ο όρος ορμής κατά τη διάρκεια της προπόνησης;
   • Ο συνολικός αριθμός των εποχών εκπαίδευσης
   • Ένας τρέχων (εκθετικά σταθμισμένος) μέσος όρος προηγούμενων κλίσεων
   • Το μέγεθος του συνόλου δεδομένων
   • Το ιστορικό ακρίβειας του μοντέλου
2. Σε μια μακρόστενη χαράδρα, ποιο πρόβλημα αντιμετωπίζει το απλό SGD που η ορμή βοηθά στη διόρθωση;
   • Ξεχειλίζει αριθμητικά
   • Σταματά τον υπολογισμό των κλίσεων
   • Αυξάνει τον ρυθμό εκμάθησης αυτόματα
   • Κάνει ζιγκ-ζαγκ στους απότομους τοίχους ενώ προχωρά αργά κατά μήκος του δαπέδου
3. Μια κοινή προεπιλεγμένη τιμή για τον συντελεστή ορμής είναι:
   • 0,9
   • 0,0
   • 0,5
   • 2.0
4. Ποια φυσική αναλογία χρησιμοποιείται συχνότερα για να περιγράψει την ορμή;
   • Ένα εκκρεμές που αιωρείται για πάντα
   • Ένα ελατήριο που γυρίζει πίσω
   • Μια βαριά μπάλα που κυλάει στην κατηφόρα
   • Κατάψυξη νερού
5. Πόσο περίπου η ορμή ενισχύει το αποτελεσματικό βήμα προς μια σταθερή κατεύθυνση όταν βήτα = 0,9;
   • Περίπου 2 φορές
   • Περίπου 0,1 φορές
   • Χωρίς ενίσχυση
   • Περίπου 10 φορές
6. Ποιος σύγχρονος βελτιστοποιητής ενσωματώνει μια εκτίμηση πρώτης στιγμής τύπου ορμής;
   • Η μέθοδος του Νεύτωνα
   • Αδάμ
   • Κ-σημαίνει
   • Τυχαία αναζήτηση
7. In the update v = beta times v plus gradient, what happens when beta is zero?
   • The old velocity is doubled
   • Every gradient becomes zero
   • The previous velocity is discarded and the current gradient determines the step
   • The parameters stop depending on the learning rate
8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
   • Their opposing contributions can partially cancel in accumulated velocity
   • All past gradients are stored as separate parameters
   • The loss becomes convex automatically
   • Momentum ignores the current gradient entirely