Κουίζ ελαχιστοποίησης ευκρίνειας

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι είδους ελάχιστο προσπαθεί να βρει η SAM;
   • Ένα επίπεδο ελάχιστο όπου η απώλεια παραμένει χαμηλή σε μια γειτονιά βαρών
   • Το πιο δυνατό ελάχιστο
   • Το ελάχιστο με τις περισσότερες παραμέτρους
   • Οποιοδήποτε ελάχιστο είναι προσβάσιμο σε ένα βήμα
2. Πόσες πάσες προς τα εμπρός προς τα πίσω απαιτεί ένα τυπικό βήμα SAM;
   • Μισό πέρασμα
   • Περίπου δύο
   • Ακριβώς ένα
   • Δέκα ή περισσότερα
3. Τι ελέγχει η υπερπαράμετρος rho ακτίνας στο SAM;
   • Η ταχύτητα αποσύνθεσης του ρυθμού εκμάθησης
   • Ο αριθμός των εποχών εκπαίδευσης
   • Το μέγεθος της γειτονιάς γύρω από τα βάρη που προστατεύεται από αιχμές απώλειας
   • Η πιθανότητα εγκατάλειψης
4. Ποιο είναι το πρώτο από τα δύο βήματα του SAM σε κάθε επανάληψη;
   • Συρρίκνωση του μοντέλου
   • Μέσος όρος των βαρών όλων των προηγούμενων βημάτων
   • Επαναφέρετε την κατάσταση του βελτιστοποιητή
   • Κάντε ένα βήμα ανάβασης μεγέθους rho προς το χειρότερο κοντινό σημείο
5. Γιατί το SAM συχνά βελτιώνει την ευρωστία του θορύβου ετικετών;
   • Επειδή τα επίπεδα ελάχιστα είναι λιγότερο επιρρεπή στην απομνημόνευση κατεστραμμένων ετικετών
   • Επειδή διαγράφει αυτόματα τις θορυβώδεις ετικέτες
   • Γιατί χρησιμοποιεί μεγαλύτερο λεξιλόγιο
   • Διότι τριπλασιάζει το μέγεθος της παρτίδας
6. Ποια από αυτές είναι μια παραλλαγή που έχει σχεδιαστεί για τη μείωση του υπολογιστικού κόστους της SAM;
   • Το ReLU
   • ESAM (Αποτελεσματικό SAM)
   • BatchNorm
   • AdaGrad
7. In SAM’s second pass, which gradient is used to update the original model weights?
   • The gradient of a random label
   • The first pass gradient without evaluating the perturbed point
   • The gradient evaluated at the perturbed nearby weights
   • A gradient from a different model checkpoint
8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
   • The model parameters are all set to zero
   • The loss becomes independent of the weights
   • The optimizer takes an infinite step
   • There is no weight perturbation, so the neighborhood reduces to the current point