Il prossimoProssima guida
Dimenticanza catastrofica
Intelligenza artificiale linguistica
GUIDA AI FONDAMENTALI
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities.
Ascolta questa guidaNarrato dall'IA · ~1 min
Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
EWC uses a Fisher-information-based regularizer to discourage changes to parameters considered important for prior tasks. GEM uses episodic examples to constrain gradient updates; its guarantee concerns a local linear approximation to previous-task losses, so actual finite updates can still change performance. iCaRL stores exemplars, selects representatives with a herding procedure and classifies using per-class mean features. Replay methods revisit retained examples; these methods have different memory, privacy and compute tradeoffs. The stability-plasticity tradeoff describes balancing retention with learning new tasks.
Evaluate old and new tasks after each update.
Use replay samples when permitted by data policy.
Compare regularization methods such as EWC against fine-tuning.
Record task order and memory budget.
Continual-learning results depend on task sequence, model, data access, and evaluation protocol. Report both new-task learning and old-task retention.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities. Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
L'oblio catastrofico è la forte perdita di prestazioni dei vecchi compiti quando i pesi condivisi di una rete vengono sovrascritti mentre si apprende qualcosa di nuovo.
Il CAE aggiunge una penalità (utilizzando le informazioni di Fisher) che fissa i pesi ritenuti importanti per i vecchi compiti, riducendo l'oblio.
Replay mescola gli esempi passati in nuovi batch in modo che i gradienti riflettano sia le attività vecchie che quelle nuove, approssimando i dati congiunti originali.
GEM projects updates using episodic-memory losses so the local first-order approximation does not increase loss on previous-task examples. This constraint is based on a local linearization and does not guarantee actual loss will never rise after every finite step.
Gli aggiornamenti del gradiente non vincolati riscrivono i pesi condivisi verso il nuovo livello ottimale, abbandonando le regioni che erano utili per le attività precedenti.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Dimenticanza catastrofica
Intelligenza artificiale linguistica