Esquecimento catastrófico
O esquecimento catastrófico ocorre quando uma rede neural aprende uma nova tarefa e perde abruptamente a capacidade de realizar tarefas que já dominava.
Visão geral
It is a central obstacle to building AI that learns continually without retraining from scratch.
Mergulho profundo
As redes neurais armazenam conhecimento em pesos compartilhados. Quando você treina um modelo em uma nova tarefa, as atualizações de gradiente substituem os mesmos parâmetros que codificaram as habilidades anteriores, de modo que o desempenho antigo pode entrar em colapso. Este é o esquecimento catastrófico, também chamado de interferência catastrófica, documentado pela primeira vez por McCloskey e Cohen em 1989. É agudo na aprendizagem sequencial ou contínua, onde os dados chegam em fases, em vez de todos misturados. Por exemplo, ajustar fortemente um chatbot em texto jurídico pode degradar sua capacidade geral de conversação. A solução padrão de força bruta é treinar novamente todas as tarefas em conjunto, mas isso é caro e pressupõe que você ainda tenha os dados antigos. Em vez disso, os investigadores utilizam técnicas que protegem pesos importantes, reproduzem exemplos anteriores ou adicionam parâmetros específicos de tarefas, tudo com o objetivo de permitir que os modelos acumulem conhecimento da mesma forma que os humanos o fazem.
Visão Técnica
O esquecimento acontece porque os mesmos pesos são reutilizados nas tarefas, e a descida gradiente irrestrita em novos dados os move livremente. As mitigações incluem Elastic Weight Consolidation, que adiciona uma penalidade que retarda alterações em parâmetros considerados importantes para tarefas antigas (estimadas por meio das informações de Fisher). Outras abordagens são ensaio ou repetição de experiência (intercalação de exemplos antigos armazenados ou gerados) e métodos de isolamento de parâmetros, como adaptadores ou LoRA, que congelam o modelo base e adicionam pequenos módulos novos.
Impacto Estratégico
Velocidade e escala
Os fluxos de trabalho de idiomas podem avançar mais rapidamente sem sacrificar a consistência.
Acesso e alcance
Ele expande o acesso entre idiomas e estilos de comunicação.
Decisões mais claras
As equipes podem gastar mais tempo julgando enquanto a automação cuida da repetição.
O futuro do esquecimento catastrófico
À medida que os modelos passam de um treinamento único para sistemas continuamente atualizados, controlar o esquecimento torna-se essencial. Métodos com parâmetros eficientes, como adaptadores LoRA, permitem que as equipes adicionem habilidades sem perturbar o modelo básico, e os sistemas de recuperação aumentada evitam o problema, mantendo novos conhecimentos em um armazenamento externo, em vez de nos pesos. Esperemos que os benchmarks de aprendizagem contínua, as arquiteturas modulares e as técnicas de consolidação inspiradas no cérebro amadureçam, levando-nos em direção a modelos que se atualizam com novas informações, ao mesmo tempo que retêm de forma confiável o que já sabem.
Implementação no mundo real
Um chatbot geral bem ajustado em textos médicos perde fluência em conversas casuais.
O Elastic Weight Consolidation permite que um agente de jogos aprenda novos jogos do Atari sem esquecer os antigos.
As equipes usam adaptadores LoRA para adicionar uma nova habilidade de domínio, deixando intactas as habilidades do modelo base congelado.
A repetição da experiência armazena exemplos anteriores e os intercala durante o novo treinamento para preservar o desempenho antigo.
Riscos e guarda-corpos
Fatos alucinados podem entrar silenciosamente em relatórios, fluxos de apoio ou resultados de pesquisas.
A sensibilidade do prompt pode criar resultados inconsistentes em solicitações semelhantes.
Dados de texto confidenciais podem ser expostos se os controles de acesso forem fracos.
Roteiro de implementação
Defina o formato de saída, o tom e os padrões de qualidade antes da implementação.
Respostas terrestres com fontes confiáveis sempre que a precisão for importante.
Mantenha um ponto de verificação de revisão humana para resultados de alto risco.
Rastreie padrões de falha e treine novamente prompts ou fluxos de trabalho regularmente.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Aprendizagem contínua e esquecimento catastrófico
Perguntas frequentes
What is Catastrophic Forgetting?
O esquecimento catastrófico ocorre quando uma rede neural aprende uma nova tarefa e perde abruptamente a capacidade de realizar tarefas que já dominava. É um obstáculo central à construção de uma IA que aprenda continuamente, sem necessidade de reciclagem a partir do zero.
O que é o esquecimento catastrófico?
O esquecimento catastrófico é a perda abrupta de capacidades antigas quando uma rede é treinada para uma nova tarefa, porque os pesos compartilhados são substituídos.
Por que o esquecimento catastrófico acontece nas redes neurais?
O conhecimento vive em parâmetros partilhados, pelo que a formação com base em novos dados altera esses mesmos pesos e apaga a aprendizagem anterior.
O que o Elastic Weight Consolidation (EWC) faz para reduzir o esquecimento?
O CEE adiciona uma penalização de regularização que retarda as atualizações de parâmetros considerados importantes para tarefas antigas, estimados através de informações da Fisher.
Como a repetição da experiência (ensaio) combate o esquecimento?
O ensaio mistura exemplos anteriores (armazenados ou gerados) enquanto aprende novas tarefas, de modo que o desempenho antigo é reforçado.
Por que os adaptadores LoRA são úteis para evitar esquecimentos catastróficos?
LoRA mantém o modelo básico congelado e aprende pequenos parâmetros adicionais, para que novas habilidades não perturbem as habilidades existentes.