Тест на катастрофическое забывание

Ответы и пояснения появляются по мере прохождения теста.

1. Какая ситуация описывает катастрофическое забывание в нейронной сети?
   • При изучении новой задачи модель теряет ранее изученные способности.
   • Когда модели во время вывода не хватает памяти
   • Когда данные обучения случайно удалены
   • Когда модель отказывается отвечать на вопрос
2. Почему в нейронных сетях происходит катастрофическое забывание?
   • Потому что каждая задача автоматически получает свою отдельную сеть.
   • Потому что новые обновления градиента перезаписывают общие веса, которые закодировали старые навыки.
   • Поскольку модели не могут хранить более одного факта
   • Потому что уровни внимания намеренно удаляют данные
3. Что делает эластичная консолидация веса (EWC) для уменьшения забывания?
   • Удаляет данные новой задачи
   • Удваивает скорость обучения
   • Наказывается изменением весов, важных для ранее изученных задач.
   • Отвлекает внимание от модели.
4. Как повторение (репетиция) помогает бороться с забыванием?
   • Замораживая всю модель навсегда
   • Обучаясь только на новейших данных
   • За счет уменьшения количества слоев
   • Путем чередования сохраненных старых примеров во время нового обучения
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. Как подход, дополненный поиском, позволяет избежать катастрофического забывания?
   • Удалив старые знания, чтобы освободить место
   • Сохраняя новые знания во внешней базе данных вместо весов
   • Постоянно тренируясь на случайном шуме
   • Полностью отключив память модели
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence