Κουίζ στοχαστικού μέσου βάρους

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι σημαίνει πραγματικά ο μέσος όρος του Στοχαστικού Βάρους;
   • Τα βάρη του μοντέλου δειγματίστηκαν σε πολλαπλά σημεία αργά στην προπόνηση
   • Οι προβλέψεις πολλών ξεχωριστά εκπαιδευμένων μοντέλων
   • Οι διαβαθμίσεις υπολογίστηκαν σε όλες τις μίνι παρτίδες
   • Τα ποσοστά μάθησης που χρησιμοποιούνται κατά τη διάρκεια κάθε εποχής
2. Γιατί το SWA τείνει να βελτιώνει τη γενίκευση;
   • Απομνημονεύει το σετ εκπαίδευσης με μεγαλύτερη ακρίβεια
   • Βρίσκει ευρύτερα, πιο επίπεδα ελάχιστα που είναι πιο ισχυρά σε αόρατα δεδομένα
   • Αυξάνει τον αριθμό των παραμέτρων στο μοντέλο
   • Εξαλείφει την ανάγκη για ένα σύνολο επικύρωσης
3. Ποιο επιπλέον βήμα απαιτεί το SWA για δίκτυα που χρησιμοποιούν ομαλοποίηση παρτίδας;
   • Επανεκπαίδευση του δικτύου από την αρχή
   • Διπλασιασμός του μεγέθους της παρτίδας
   • Ένα επιπλέον πάσο προς τα εμπρός για τον επανυπολογισμό των στατιστικών στοιχείων λειτουργίας BN
   • Κατάργηση όλων των επιπέδων εγκατάλειψης
4. Ποια συμπεριφορά ρυθμού μάθησης χρησιμοποιείται συνήθως κατά τη φάση του μέσου όρου SWA;
   • Ο ρυθμός μάθησης μειώθηκε ακριβώς στο μηδέν
   • Ποσοστό μάθησης 1 για σταθερότητα
   • Δεν υπάρχει καθόλου ρυθμός μάθησης αφού η εκπαίδευση έχει παγώσει
   • Ένα σταθερό ή κυκλικό, σχετικά υψηλό ποσοστό μάθησης
5. Πώς είναι το κόστος συμπερασμάτων της SWA σε σύγκριση με ένα παραδοσιακό σύνολο μοντέλων N;
   • Κοστίζει περίπου ένα μοντέλο, αφού το αποτέλεσμα είναι ένα σύνολο βαρών
   • Είναι Ν φορές πιο ακριβό
   • Είναι πανομοιότυπο με τα μοντέλα N που εκτελούνται
   • Δεν μπορεί να χρησιμοποιηθεί για συμπεράσματα
6. Γιατί η προσαρμογή κανονικοποίησης παρτίδας ανήκει μετά τον μέσο όρο βάρους SWA;
   • Το βήμα του μέσου όρου διαγράφει κάθε συνέλιξη
   • Τα στατιστικά του τρεξίματος πρέπει να υπολογιστούν εκ νέου για τα μέσα βάρη
   • Μετατρέπει την ομαλοποίηση παρτίδας σε κανονικοποίηση στρώματος
   • Επαναφέρει τον αρχικό ρυθμό εκμάθησης του βελτιστοποιητή
7. Ένας τρέχων μέσος όρος SWA συνδυάζει n προηγούμενα δείγματα με ένα νέο διάνυσμα βάρους w_i. Ποια ενημέρωση δίνει την ίδια βαρύτητα σε όλα τα δείγματα n+1;
   • w_SWA + n · w_i
   • (w_SWA + w_i) διαιρούμενο με n
   • (n · w_SWA + w_i) διαιρούμενο με (n + 1)
   • n · (w_SWA − w_i)
8. Γιατί το SWA ξεκινά συνήθως κατά το τελευταίο μέρος της εκπαίδευσης;
   • Απαιτεί το μοντέλο να παραμείνει σε τυχαία προετοιμασία
   • Μπορεί να μέσο όρο μόνο μοντέλων με διαφορετικές αρχιτεκτονικές
   • Αντικαθιστά τα δεδομένα εκπαίδευσης με παραδείγματα επικύρωσης
   • Εκτιμά τον μέσο όρο των κοντινών χρήσιμων σημείων ελέγχου από μια τροχιά αφού το μοντέλο έχει σημειώσει σημαντική πρόοδο