Καταστροφικό Κουίζ Λήθης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποια κατάσταση περιγράφει την καταστροφική λήθη σε ένα νευρωνικό δίκτυο;
   • Όταν η εκμάθηση μιας νέας εργασίας προκαλεί ένα μοντέλο να χάσει τις ικανότητες που είχε μάθει στο παρελθόν
   • Όταν ένα μοντέλο εξαντλείται η μνήμη κατά τη διάρκεια της εξαγωγής συμπερασμάτων
   • Όταν τα δεδομένα εκπαίδευσης διαγράφονται κατά λάθος
   • Όταν ένα μοντέλο αρνείται να απαντήσει σε μια ερώτηση
2. Γιατί συμβαίνει η καταστροφική λήθη στα νευρωνικά δίκτυα;
   • Επειδή κάθε εργασία αποκτά το δικό της ξεχωριστό δίκτυο αυτόματα
   • Επειδή οι νέες ενημερώσεις διαβάθμισης αντικαθιστούν τα κοινά βάρη που κωδικοποιούσαν παλιές δεξιότητες
   • Γιατί τα μοντέλα δεν μπορούν να αποθηκεύσουν περισσότερα από ένα γεγονότα
   • Επειδή τα επίπεδα προσοχής διαγράφουν τα δεδομένα επίτηδες
3. Τι κάνει η Elastic Weight Consolidation (EWC) για να μειώσει τη λήθη;
   • Διαγράφει τα δεδομένα της νέας εργασίας
   • Διπλασιάζει το ποσοστό εκμάθησης
   • Τιμωρεί τις αλλαγές στα βάρη που είναι σημαντικά για εργασίες που έχουν μάθει προηγουμένως
   • Αφαιρεί την προσοχή από το μοντέλο
4. Πώς η εμπειρία επανάληψης (πρόβας) μάχης ξεχνιέται;
   • Παγώνοντας μόνιμα ολόκληρο το μοντέλο
   • Με εκπαίδευση μόνο στα νεότερα δεδομένα
   • Με τη μείωση του αριθμού των στρώσεων
   • Με παρεμβολή αποθηκευμένων παλαιών παραδειγμάτων κατά τη διάρκεια νέας εκπαίδευσης
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. Πώς μια προσέγγιση επαυξημένης ανάκτησης παρακάμπτει την καταστροφική λήθη;
   • Διαγράφοντας την παλιά γνώση για να δημιουργηθεί χώρος
   • Αποθηκεύοντας τη νέα γνώση σε μια εξωτερική βάση δεδομένων αντί για τα βάρη
   • Με συνεχή προπόνηση σε τυχαίο θόρυβο
   • Απενεργοποιώντας εντελώς τη μνήμη του μοντέλου
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence