Κουίζ Lookahead και Lion Optimizers

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιο είναι το καθοριστικό υπολογιστικό βήμα στην ενημέρωση βάρους του Lion optimizer;
   • Παίρνοντας το σημάδι ενός όρου που βασίζεται στην ορμή
   • Διαιρώντας την κλίση με το τετράγωνο του τρέχοντος μέσου όρου της
   • Υπολογισμός μιας προσέγγισης της Έσσιας δεύτερης τάξης
   • Μέσος όρος βαρών σε πολλά σημεία ελέγχου
2. Πώς δομεί το Lookahead τη βελτιστοποίησή του;
   • Χρησιμοποιεί ένα ενιαίο σύνολο βαρών που ενημερώνονται δύο φορές ανά βήμα
   • Διατηρεί «γρήγορα» βάρη που ενημερώνονται από έναν βελτιστοποιητή βάσης και «αργά» βάρη που παρεμβάλλονται περιοδικά προς αυτά
   • Αφαιρεί εντελώς την ορμή για εξοικονόμηση μνήμης
   • Εκπαιδεύει δύο δίκτυα και υπολογίζει τον μέσο όρο των εξόδων τους
3. Πώς ανακαλύφθηκε αρχικά το Lion optimizer;
   • Με την εξαγωγή του από τη θεωρία κυρτής βελτιστοποίησης
   • Με τον μέσο όρο των ενημερώσεων του SGD και του Adam
   • Μέσω αυτοματοποιημένης συμβολικής αναζήτησης προγραμμάτων μέσω αλγορίθμων βελτιστοποίησης
   • Από μια φυσική προσομοίωση της κίνησης των σωματιδίων
4. Σε σύγκριση με τον Adam, ποιο είναι το βασικό πλεονέκτημα μνήμης του Lion;
   • Δεν αποθηκεύει καθόλου κατάσταση
   • Χρησιμοποιεί αυτόματα βάρη μισής ακρίβειας
   • Μοιράζεται κατάσταση σε όλα τα επίπεδα
   • Διατηρεί μόνο ένα ρυθμιστικό ορμής αντί για τους δύο τανυστές καταστάσεων του Adam
5. Γιατί το Lion απαιτεί συνήθως μικρότερο ποσοστό μάθησης από τον Adam;
   • Επειδή η λειτουργία του σήματος κάνει το μέγεθος κάθε ενημέρωσης ομοιόμορφο, κλιμακώνοντας αποτελεσματικά το βήμα
   • Γιατί δεν χρησιμοποιεί ορμή
   • Επειδή επεξεργάζεται μεγαλύτερες παρτίδες
   • Επειδή απενεργοποιεί την αποσύνθεση βάρους
6. Ένα πρακτικό όφελος του Lookahead είναι ότι τείνει να κάνει εκπαίδευση:
   • Πιο ευαίσθητο στην επιλογή υπερπαραμέτρων
   • Πιο σταθερό και στιβαρό, με μειωμένη ταλάντωση
   • Πιο αργό ανά βήμα κατά δέκα φορές
   • Ασυμβίβαστο με τον Adam ή το SGD
7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
   • To 8, regardless of alpha
   • To −2, away from the fast weights
   • To 2, one quarter of the distance toward the fast weights
   • They remain at 0 because alpha only changes Lion
8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
   • At the original random initialization
   • At the final validation predictions
   • At the previous slow weights before interpolation
   • At the updated slow-weight values for the next inner loop