Вікторина про катастрофічне забуття

Відповіді та пояснення з’являються під час виконання тесту.

1. Which situation describes catastrophic forgetting in a neural network?
   • Під час вивчення нового завдання модель втрачає набуті раніше здібності
   • Коли в моделі закінчується пам’ять під час логічного висновку
   • Коли дані навчання випадково видаляються
   • Коли модель відмовляється відповідати на запитання
2. Чому в нейронних мережах відбувається катастрофічне забування?
   • Оскільки кожне завдання автоматично отримує свою окрему мережу
   • Тому що нові оновлення градієнтів перезаписують спільні ваги, які закодували старі навички
   • Оскільки моделі не можуть зберігати більше одного факту
   • Оскільки шари уваги видаляють дані навмисно
3. Що робить еластична консолідація ваги (EWC), щоб зменшити забування?
   • Видаляє дані нового завдання
   • Подвоює швидкість навчання
   • Штрафує зміни ваги, важливі для раніше вивчених завдань
   • Відволікає увагу від моделі
4. Як відтворення (репетиція) досвіду бореться із забуттям?
   • Назавжди заморозивши всю модель
   • Навчаючись тільки на новітніх даних
   • За рахунок зменшення кількості шарів
   • Перемежовуючи збережені старі приклади під час нового навчання
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. Як підхід із розширеним пошуком обходить катастрофічне забування?
   • Видаляючи старі знання, щоб звільнити місце
   • Зберігаючи нові знання у зовнішній базі даних замість ваг
   • Безперервно тренуючись на випадковому шумі
   • Повністю вимкнувши пам’ять моделі
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence