Olvido catastrófico
El olvido catastrófico ocurre cuando una red neuronal aprende una nueva tarea y pierde abruptamente su capacidad para realizar tareas que ya dominaba.
Descripción general
It is a central obstacle to building AI that learns continually without retraining from scratch.
Buceo profundo
Las redes neuronales almacenan conocimiento en pesos compartidos. Cuando entrenas un modelo en una nueva tarea, las actualizaciones de gradiente sobrescriben los mismos parámetros que codificaron habilidades anteriores, por lo que el rendimiento anterior puede colapsar. Se trata de un olvido catastrófico, también llamado interferencia catastrófica, documentado por primera vez por McCloskey y Cohen en 1989. Es agudo en el aprendizaje secuencial o continuo, donde los datos llegan en fases en lugar de estar todos mezclados. Por ejemplo, ajustar un chatbot en gran medida a textos legales puede degradar su capacidad de conversación general. La solución estándar de fuerza bruta es volver a capacitarse en todas las tareas de forma conjunta, pero eso es costoso y supone que todavía tienes los datos antiguos. En cambio, los investigadores utilizan técnicas que protegen pesos importantes, reproducen ejemplos anteriores o agregan parámetros específicos de tareas, todo con el objetivo de permitir que los modelos acumulen conocimiento como lo hacen los humanos.
Información técnica
El olvido ocurre porque se reutilizan los mismos pesos en todas las tareas y el descenso de gradiente sin restricciones sobre nuevos datos los mueve libremente. Las mitigaciones incluyen la consolidación de peso elástico, que agrega una penalización que ralentiza los cambios en los parámetros considerados importantes para tareas antiguas (estimadas mediante la información de Fisher). Otros enfoques son el ensayo o la repetición de experiencias (entrelazando ejemplos antiguos almacenados o generados) y métodos de aislamiento de parámetros como adaptadores o LoRA que congelan el modelo base y agregan pequeños módulos nuevos.
Impacto Estratégico
Speed and scale
Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
Access and reach
Amplía el acceso a través de idiomas y estilos de comunicación.
Decisiones más claras
Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
El futuro del olvido catastrófico
A medida que los modelos pasan de un entrenamiento único a sistemas permanentemente actualizados, controlar el olvido se vuelve esencial. Los métodos eficientes en parámetros, como los adaptadores LoRA, permiten a los equipos agregar habilidades sin alterar el modelo base, y los sistemas de recuperación aumentada evitan el problema al mantener el nuevo conocimiento en un almacén externo en lugar de en los pesos. Espere que maduren los puntos de referencia de aprendizaje continuo, las arquitecturas modulares y las técnicas de consolidación inspiradas en el cerebro, llevándonos hacia modelos que se actualizan con información nueva y al mismo tiempo retienen de manera confiable lo que ya saben.
Implementación en el mundo real
Un chatbot general muy adaptado a textos médicos pierde fluidez en una conversación informal.
Elastic Weight Consolidation permite a un agente de juegos aprender nuevos juegos de Atari sin olvidar los antiguos.
Los equipos usan adaptadores LoRA para agregar una nueva habilidad de dominio y dejar intactas las habilidades del modelo base congelado.
La repetición de experiencias almacena ejemplos anteriores y los intercala durante el nuevo entrenamiento para preservar el rendimiento anterior.
Riesgos y barandillas
Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Hoja de ruta de implementación
Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Aprendizaje continuo y olvido catastrófico
Preguntas frecuentes
What is Catastrophic Forgetting?
El olvido catastrófico ocurre cuando una red neuronal aprende una nueva tarea y pierde abruptamente su capacidad para realizar tareas que ya dominaba. Es un obstáculo central para construir una IA que aprenda continuamente sin volver a capacitarse desde cero.
¿Qué es el olvido catastrófico?
El olvido catastrófico es la pérdida abrupta de capacidades antiguas cuando una red se entrena en una nueva tarea, porque los pesos compartidos se sobrescriben.
¿Por qué ocurre un olvido catastrófico en las redes neuronales?
El conocimiento vive en parámetros compartidos, por lo que la capacitación sobre nuevos datos cambia esos mismos pesos y borra el aprendizaje anterior.
¿Qué hace la consolidación elástica de peso (EWC) para reducir el olvido?
EWC agrega una penalización de regularización que ralentiza las actualizaciones de los parámetros considerados importantes para tareas antiguas, estimadas a través de la información de Fisher.
¿Cómo combate la experiencia de repetición (ensayo) el olvido?
El ensayo combina ejemplos anteriores (almacenados o generados) mientras se aprenden nuevas tareas, de modo que se refuerza la interpretación anterior.
¿Por qué son útiles los adaptadores LoRA para evitar olvidos catastróficos?
LoRA mantiene el modelo base congelado y aprende pequeños parámetros adicionales, para que las nuevas habilidades no perturben las existentes.