Κουίζ Adam and Adaptive Optimizers

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιες δύο ποσότητες παρακολουθεί ο Adam για κάθε παράμετρο;
   • Ο τρέχων μέσος όρος των κλίσεων και των τετραγωνικών κλίσεων
   • Η μέγιστη και η ελάχιστη κλίση που έχει δει ποτέ
   • Το ποσοστό εκμάθησης και το μέγεθος παρτίδας
   • Η τιμή του βάρους και το σημάδι του
2. Γιατί ο Adam εφαρμόζει διόρθωση μεροληψίας στις εκτιμήσεις του χρόνου;
   • Επειδή οι κλίσεις είναι πάντα αρνητικές νωρίς στην προπόνηση
   • Επειδή οι κινητοί μέσοι όροι ξεκινούν από το μηδέν και είναι πολωμένοι προς το μηδέν αρχικά
   • Για να γίνει το ποσοστό μάθησης μεγαλύτερο με την πάροδο του χρόνου
   • Για να αφαιρέσετε τα ακραία σημεία δεδομένων από την παρτίδα
3. Ποια είναι η κύρια διαφορά μεταξύ του Adam και του AdamW;
   • Το AdamW δεν χρησιμοποιεί καθόλου ορμή
   • Ο AdamW αφαιρεί την εκτίμηση της δεύτερης στιγμής
   • Το AdamW αποσυνδέει τη μείωση του βάρους από την ενημέρωση που βασίζεται σε κλίση
   • Το AdamW λειτουργεί μόνο σε συνελικτικά δίκτυα
4. Τι ρόλο παίζει ο όρος μικρό έψιλον στον κανόνα ενημέρωσης του Αδάμ;
   • Ρυθμίζει τη δύναμη της ορμής
   • Ελέγχει τον αριθμό των προπονητικών εποχών
   • Αυξάνει το μέγεθος της κλίσης
   • Αποτρέπει τη διαίρεση με το μηδέν και σταθεροποιεί την ενημέρωση
5. Γιατί ο Αδάμ περιγράφεται συχνά ως «προσαρμοστικός»;
   • Δίνει αποτελεσματικά σε κάθε παράμετρο το δικό της κλιμακούμενο μέγεθος βήματος
   • Αλλάζει την αρχιτεκτονική του δικτύου κατά τη διάρκεια της εκπαίδευσης
   • Προσαρμόζει το σύνολο δεδομένων στο μοντέλο
   • Εναλλάσσεται αυτόματα μεταξύ ταξινόμησης και παλινδρόμησης
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • The number of model layers
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history