A seguirPróximo guia
Esquecimento catastrófico
IA de linguagem
GUIA de fundamentos
Aprendizagem contínua e esquecimento catastrófico
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities.
Ouça este guiaNarrado por IA · ~1 min
Nesta página1 minuto de leitura
Visão geral
Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
Mergulho profundo
EWC uses a Fisher-information-based regularizer to discourage changes to parameters considered important for prior tasks. GEM uses episodic examples to constrain gradient updates; its guarantee concerns a local linear approximation to previous-task losses, so actual finite updates can still change performance. iCaRL stores exemplars, selects representatives with a herding procedure and classifies using per-class mean features. Replay methods revisit retained examples; these methods have different memory, privacy and compute tradeoffs. The stability-plasticity tradeoff describes balancing retention with learning new tasks.
Implementação no mundo real
Evaluate old and new tasks after each update.
Use replay samples when permitted by data policy.
Compare regularization methods such as EWC against fine-tuning.
Record task order and memory budget.
O futuro da aprendizagem contínua e do esquecimento catastrófico
Continual-learning results depend on task sequence, model, data access, and evaluation protocol. Report both new-task learning and old-task retention.
Colocando em prática
Por que isso importa
- Decisões mais claras. Ajuda a separar afirmações técnicas claras da linguagem de marketing.
- Custo e orçamento. Você pode fazer perguntas melhores sobre implementação antes de gastar dinheiro ou tempo.
- Equipe e fluxo de trabalho. Equipes com entendimento compartilhado tomam melhores decisões sobre produtos, políticas e aprendizado.
Cuidado com
- Equipes diferentes podem usar o mesmo termo de maneira diferente, portanto, defina o escopo com antecedência.
- Os benchmarks podem parecer fortes, enquanto o desempenho no mundo real é irregular.
- Ignorar a qualidade dos dados e os planos de avaliação cria frequentemente resultados frágeis.
Próximas etapas
- Comece com uma definição em linguagem simples do resultado que você precisa.
- Escolha uma métrica de sucesso e uma condição de falha antes de testar.
- Execute um pequeno piloto com dados representativos, não um conjunto de demonstração sofisticado.
- Documente onde o Aprendizado Contínuo e o Esquecimento Catastrófico ajudam e onde os métodos mais simples são melhores.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Take the Continual Learning and Catastrophic Forgetting quiz
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
What is Continual Learning and Catastrophic Forgetting?
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities. Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
O que é “esquecimento catastrófico”?
O esquecimento catastrófico é a perda acentuada do desempenho de tarefas antigas quando os pesos compartilhados de uma rede são substituídos enquanto se aprende algo novo.
O que a Consolidação Elástica de Peso (EWC) faz?
O EWC adiciona uma penalidade (usando informações de Fisher) que ancora pesos considerados importantes para tarefas antigas, reduzindo o esquecimento.
Como os métodos baseados em repetição combatem o esquecimento?
A repetição mistura exemplos anteriores em novos lotes para que os gradientes reflitam tarefas antigas e novas, aproximando os dados conjuntos originais.
How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
GEM projects updates using episodic-memory losses so the local first-order approximation does not increase loss on previous-task examples. This constraint is based on a local linearization and does not guarantee actual loss will never rise after every finite step.
Por que o ajuste fino ingênuo de uma nova tarefa causa o esquecimento?
As atualizações de gradiente irrestritas reescrevem os pesos compartilhados em direção ao novo ótimo, abandonando regiões que eram boas para tarefas anteriores.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico