ΕπόμενοΕπόμενος οδηγός
Καταστροφική Λήθη
Γλώσσα AI
ΟΔΗΓΟΣ Βασικών Αρχών
Συνεχής Μάθηση και Καταστροφική Λήθη
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~1 min
Σε αυτήν τη σελίδα1 λεπτό διάβασμα
Επισκόπηση
Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
Βαθιά κατάδυση
EWC uses a Fisher-information-based regularizer to discourage changes to parameters considered important for prior tasks. GEM uses episodic examples to constrain gradient updates; its guarantee concerns a local linear approximation to previous-task losses, so actual finite updates can still change performance. iCaRL stores exemplars, selects representatives with a herding procedure and classifies using per-class mean features. Replay methods revisit retained examples; these methods have different memory, privacy and compute tradeoffs. The stability-plasticity tradeoff describes balancing retention with learning new tasks.
Υλοποίηση σε πραγματικό κόσμο
Evaluate old and new tasks after each update.
Use replay samples when permitted by data policy.
Compare regularization methods such as EWC against fine-tuning.
Record task order and memory budget.
Το μέλλον της συνεχούς μάθησης και της καταστροφικής λήθης
Continual-learning results depend on task sequence, model, data access, and evaluation protocol. Report both new-task learning and old-task retention.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Σαφέστερες αποφάσεις. Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
- Κόστος και προϋπολογισμός. Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
- Ομάδα και ροή εργασίας. Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Προσέξτε
- Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
- Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
- Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Επόμενα βήματα
- Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
- Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
- Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
- Τεκμηριώστε πού βοηθάει η Συνεχής Μάθηση και η Καταστροφική Λήθη και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Continual Learning and Catastrophic Forgetting quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Continual Learning and Catastrophic Forgetting?
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities. Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
Τι είναι η «καταστροφική λήθη»;
Η καταστροφική λήθη είναι η απότομη απώλεια απόδοσης παλαιών εργασιών όταν τα κοινά βάρη ενός δικτύου αντικαθίστανται ενώ μαθαίνετε κάτι νέο.
Τι κάνει η Elastic Weight Consolidation (EWC);
Το EWC προσθέτει μια ποινή (χρησιμοποιώντας πληροφορίες Fisher) που αγκυρώνει τα βάρη που θεωρούνται σημαντικά για παλιές εργασίες, μειώνοντας τη λήθη.
Πώς οι μέθοδοι που βασίζονται σε επανάληψη καταπολεμούν τη λήθη;
Η επανάληψη αναμειγνύει προηγούμενα παραδείγματα σε νέες παρτίδες, ώστε οι διαβαθμίσεις να αντικατοπτρίζουν τόσο παλιές όσο και νέες εργασίες, προσεγγίζοντας τα αρχικά κοινά δεδομένα.
How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
GEM projects updates using episodic-memory losses so the local first-order approximation does not increase loss on previous-task examples. This constraint is based on a local linearization and does not guarantee actual loss will never rise after every finite step.
Γιατί η αφελής λεπτομέρεια σε μια νέα εργασία προκαλεί λήθη;
Οι ενημερώσεις κλίσης χωρίς περιορισμούς επαναγράφουν τα κοινόχρηστα βάρη προς τη νέα βέλτιστη, εγκαταλείποντας περιοχές που ήταν κατάλληλες για προηγούμενες εργασίες.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα