Κουίζ συνεχούς μάθησης και καταστροφικής λήθης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι είναι η «καταστροφική λήθη»;
   • Η εκμάθηση μιας νέας εργασίας υποβαθμίζει απότομα την απόδοση σε εργασίες που είχαν μάθει προηγουμένως
   • Όταν ένα μοντέλο ξεμείνει από μνήμη και κολλάει
   • Όταν τα δεδομένα εκπαίδευσης διαγράφονται κατά λάθος
   • Όταν ένα μοντέλο αρνείται να κάνει προβλέψεις
2. Η αντιστάθμιση στην καρδιά της συνεχούς μάθησης ονομάζεται συχνά:
   • Ανταλλαγή μεροληψίας-διακύμανσης
   • Δίλημμα σταθερότητα-πλαστικότητα
   • Ανταλλαγή ταχύτητας-ακρίβειας
   • Ανταλλαγή εξερεύνησης-εκμετάλλευσης
3. Τι κάνει η Elastic Weight Consolidation (EWC);
   • Διαγράφει ασήμαντους νευρώνες
   • Διπλασιάζει το ποσοστό εκμάθησης για νέες εργασίες
   • Τιμωρεί τις αλλαγές στα βάρη που είναι σημαντικά για εργασίες που έχουν μάθει προηγουμένως
   • Αποθηκεύει κάθε προηγούμενο παράδειγμα εκπαίδευσης για πάντα
4. Πώς οι μέθοδοι που βασίζονται σε επανάληψη καταπολεμούν τη λήθη;
   • Παγώνοντας μόνιμα ολόκληρο το δίκτυο
   • Χρησιμοποιώντας μεγαλύτερο ρυθμό μάθησης
   • Αφαιρώντας τη λειτουργία απώλειας
   • Με την παρεμβολή αποθηκευμένων ή παραγόμενων παλαιών παραδειγμάτων σε νέα εκπαίδευση
5. How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
   • It projects the gradient so its first-order approximation does not increase loss on stored prior-task examples
   • It replaces all prior-task data with new examples
   • It freezes every parameter for all future tasks
   • It increases weights that were unimportant to earlier tasks
6. Γιατί η αφελής λεπτομέρεια σε μια νέα εργασία προκαλεί λήθη;
   • Η GPU υπερθερμαίνεται και καταστρέφει τη μνήμη
   • Η κλίση κατάβασης μετακινεί τα κοινά βάρη προς τη νέα εργασία χωρίς περιορισμό στη διατήρηση των παλαιών
   • Οι νέες εργασίες έχουν πάντα περισσότερα δεδομένα
   • Το μοντέλο διαγράφει σκόπιμα τα παλιά βάρη
7. How does iCaRL classify a test example after learning multiple classes?
   • By retrieving the single closest word in a text corpus
   • By selecting the class with the largest Fisher information
   • By comparing its feature vector with per-class means computed from stored exemplars
   • By replaying every training image at inference
8. Why is evaluating continual learning more than measuring final accuracy on the newest task?
   • New-task accuracy is the only relevant measure
   • Old tasks are removed from the evaluation
   • The model cannot be tested on multiple tasks
   • A method must also measure retention on prior tasks and its ability to learn new ones