Prueba de olvido catastrófico

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. Which situation describes catastrophic forgetting in a neural network?
   • Cuando aprender una nueva tarea hace que un modelo pierda habilidades aprendidas previamente
   • Cuando un modelo se queda sin memoria durante la inferencia
   • Cuando los datos de entrenamiento se eliminan accidentalmente
   • Cuando un modelo se niega a responder una pregunta
2. ¿Por qué ocurre un olvido catastrófico en las redes neuronales?
   • Porque cada tarea obtiene su propia red separada automáticamente
   • Porque las nuevas actualizaciones de gradientes sobrescriben los pesos compartidos que codificaban habilidades antiguas
   • Porque los modelos no pueden almacenar más de un hecho.
   • Porque las capas de atención eliminan datos a propósito
3. ¿Qué hace la consolidación elástica de peso (EWC) para reducir el olvido?
   • Elimina los datos de la nueva tarea.
   • Duplica la tasa de aprendizaje
   • Penaliza los cambios de peso importantes para tareas aprendidas previamente
   • Quita la atención del modelo.
4. ¿Cómo combate la experiencia de repetición (ensayo) el olvido?
   • Congelando todo el modelo permanentemente
   • Entrenando solo con los datos más recientes
   • Reduciendo el número de capas.
   • Intercalando ejemplos antiguos almacenados durante el nuevo entrenamiento.
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. ¿Cómo un enfoque de recuperación aumentada evita el olvido catastrófico?
   • Eliminando conocimientos antiguos para hacer espacio
   • Al almacenar nuevos conocimientos en una base de datos externa en lugar de los pesos
   • Entrenando continuamente con ruido aleatorio.
   • Desactivando completamente la memoria del modelo.
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence