Καταστροφική Λήθη
Καταστροφική λήθη είναι όταν ένα νευρωνικό δίκτυο μαθαίνει μια νέα εργασία και χάνει απότομα την ικανότητά του να εκτελεί εργασίες που είχε ήδη κατακτήσει.
Επισκόπηση
It is a central obstacle to building AI that learns continually without retraining from scratch.
Βαθιά κατάδυση
Τα νευρωνικά δίκτυα αποθηκεύουν τη γνώση σε κοινά βάρη. Όταν εκπαιδεύετε ένα μοντέλο σε μια νέα εργασία, οι ενημερώσεις διαβάθμισης αντικαθιστούν τις ίδιες τις παραμέτρους που κωδικοποίησαν προηγούμενες δεξιότητες, οπότε η παλιά απόδοση μπορεί να καταρρεύσει. Αυτή είναι η καταστροφική λήθη, που ονομάζεται επίσης καταστροφική παρέμβαση, που τεκμηριώθηκε για πρώτη φορά από τους McCloskey και Cohen το 1989. Είναι οξεία στη διαδοχική ή συνεχή μάθηση, όπου τα δεδομένα φτάνουν σε φάσεις αντί να αναμειγνύονται όλα μαζί. Για παράδειγμα, η ακριβής ρύθμιση ενός chatbot σε νομικό κείμενο μπορεί να υποβαθμίσει τη γενική του ικανότητα συνομιλίας. Η τυπική επιδιόρθωση ωμής βίας είναι η επανεκπαίδευση σε όλες τις εργασίες από κοινού, αλλά αυτό είναι ακριβό και προϋποθέτει ότι έχετε ακόμα τα παλιά δεδομένα. Οι ερευνητές χρησιμοποιούν τεχνικές που προστατεύουν σημαντικά βάρη, επαναλαμβάνουν προηγούμενα παραδείγματα ή προσθέτουν παραμέτρους για συγκεκριμένες εργασίες, όλα με στόχο να αφήσουν τα μοντέλα να συσσωρεύουν γνώση με τον τρόπο που κάνουν οι άνθρωποι.
Τεχνική διορατικότητα
Η λήθη συμβαίνει επειδή τα ίδια βάρη επαναχρησιμοποιούνται σε όλες τις εργασίες και η απεριόριστη κλίση σε νέα δεδομένα τα μετακινεί ελεύθερα. Στους μετριασμούς περιλαμβάνονται το Elastic Weight Consolidation, το οποίο προσθέτει μια ποινή που επιβραδύνει τις αλλαγές σε παραμέτρους που θεωρούνται σημαντικές για παλιές εργασίες (εκτιμάται μέσω των πληροφοριών Fisher). Άλλες προσεγγίσεις είναι η πρόβα ή η επανάληψη εμπειρίας (διαπλοκή αποθηκευμένων ή δημιουργημένων παλαιών παραδειγμάτων) και μέθοδοι απομόνωσης παραμέτρων όπως προσαρμογείς ή LoRA που παγώνουν το βασικό μοντέλο και προσθέτουν μικρές νέες μονάδες.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Οι ροές εργασίας της γλώσσας μπορούν να κινηθούν πιο γρήγορα χωρίς να θυσιάζεται η συνέπεια.
Πρόσβαση και προσέγγιση χρηστών
Επεκτείνει την πρόσβαση σε όλες τις γλώσσες και τα στυλ επικοινωνίας.
Σαφέστερες αποφάσεις
Οι ομάδες μπορούν να αφιερώσουν περισσότερο χρόνο στην κρίση, ενώ ο αυτοματισμός χειρίζεται την επανάληψη.
Το μέλλον της καταστροφικής λήθης
Καθώς τα μοντέλα περνούν από την εκπαίδευση με μία λήψη σε συστήματα δια βίου, συνεχώς ενημερωμένα, ο έλεγχος της λήθης καθίσταται απαραίτητος. Μέθοδοι αποδοτικές σε παραμέτρους, όπως οι προσαρμογείς LoRA, επιτρέπουν στις ομάδες να προσθέτουν δεξιότητες χωρίς να διαταράσσουν το βασικό μοντέλο, και τα συστήματα επαυξημένης ανάκτησης παρακάμπτουν το πρόβλημα διατηρώντας τις νέες γνώσεις σε ένα εξωτερικό χώρο αποθήκευσης αντί για τα βάρη. Αναμένουμε να ωριμάσουν τα σημεία αναφοράς συνεχούς μάθησης, οι αρθρωτές αρχιτεκτονικές και οι τεχνικές ενοποίησης εμπνευσμένες από τον εγκέφαλο, οδηγώντας μας σε μοντέλα που ενημερώνονται με φρέσκες πληροφορίες, διατηρώντας παράλληλα αξιόπιστα όσα ήδη γνωρίζουν.
Υλοποίηση σε πραγματικό κόσμο
Ένα γενικό chatbot προσαρμοσμένο σε μεγάλο βαθμό σε ιατρικό κείμενο χάνει την ευχέρεια στην περιστασιακή συνομιλία.
Το Elastic Weight Consolidation επιτρέπει σε έναν πράκτορα που παίζει παιχνίδια να μάθει νέα παιχνίδια Atari χωρίς να ξεχνά τα παλιά.
Οι ομάδες χρησιμοποιούν προσαρμογείς LoRA για να προσθέσουν μια νέα ικανότητα τομέα, ενώ αφήνουν ανέπαφες τις ικανότητες του παγωμένου βασικού μοντέλου.
Η επανάληψη της εμπειρίας αποθηκεύει προηγούμενα παραδείγματα και τα παρεμβάλλει κατά τη διάρκεια της νέας προπόνησης για να διατηρήσει την παλιά απόδοση.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα παραισθησιακά γεγονότα μπορούν να εισάγουν αθόρυβα αναφορές, να υποστηρίζουν ροές ή αποτελέσματα έρευνας.
Η άμεση ευαισθησία μπορεί να δημιουργήσει ασυνεπή αποτελέσματα σε παρόμοια αιτήματα.
Τα ευαίσθητα δεδομένα κειμένου ενδέχεται να εκτεθούν εάν τα στοιχεία ελέγχου πρόσβασης είναι αδύναμα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τη μορφή εξόδου, τον τόνο και τα πρότυπα ποιότητας πριν από την κυκλοφορία.
Επίγειες απαντήσεις με αξιόπιστες πηγές όποτε έχει σημασία η ακρίβεια.
Διατηρήστε ένα σημείο ελέγχου ανθρώπινης αξιολόγησης για αποτελέσματα υψηλού πονταρίσματος.
Παρακολουθήστε τα μοτίβα αποτυχίας και επανεκπαιδεύστε τις προτροπές ή τις ροές εργασίας τακτικά.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Συνεχής Μάθηση και Καταστροφική Λήθη
Συχνές ερωτήσεις
What is Catastrophic Forgetting?
Καταστροφική λήθη είναι όταν ένα νευρωνικό δίκτυο μαθαίνει μια νέα εργασία και χάνει απότομα την ικανότητά του να εκτελεί εργασίες που είχε ήδη κατακτήσει. Είναι ένα κεντρικό εμπόδιο για την οικοδόμηση AI που μαθαίνει συνεχώς χωρίς να επανεκπαιδεύεται από την αρχή.
Τι είναι η καταστροφική λήθη;
Η καταστροφική λήθη είναι η απότομη απώλεια παλιών δυνατοτήτων όταν ένα δίκτυο εκπαιδεύεται σε μια νέα εργασία, επειδή τα κοινά βάρη αντικαθίστανται.
Γιατί συμβαίνει η καταστροφική λήθη στα νευρωνικά δίκτυα;
Η γνώση ζει σε κοινές παραμέτρους, επομένως η εκπαίδευση σε νέα δεδομένα μετατοπίζει τα ίδια βάρη και διαγράφει την προηγούμενη μάθηση.
Τι κάνει η Elastic Weight Consolidation (EWC) για να μειώσει τη λήθη;
Το EWC προσθέτει μια ποινή τακτοποίησης που επιβραδύνει τις ενημερώσεις στις παραμέτρους που θεωρούνται σημαντικές για παλιές εργασίες, οι οποίες υπολογίζονται μέσω των πληροφοριών Fisher.
Πώς η εμπειρία επανάληψης (πρόβας) μάχης ξεχνιέται;
Συνδυάστε πρόβες σε προηγούμενα παραδείγματα (αποθηκευμένα ή δημιουργημένα) ενώ μαθαίνετε νέες εργασίες, ώστε να ενισχύεται η παλιά απόδοση.
Γιατί οι προσαρμογείς LoRA είναι χρήσιμοι για την αποφυγή καταστροφικής λήθης;
Το LoRA διατηρεί το βασικό μοντέλο παγωμένο και μαθαίνει μικρές πρόσθετες παραμέτρους, έτσι ώστε οι νέες δεξιότητες να μην διαταράσσουν τις υπάρχουσες ικανότητες.