Вікторина «Постійне навчання та катастрофічне забування».

Відповіді та пояснення з’являються під час виконання тесту.

1. Що таке «катастрофічне забування»?
   • При вивченні нового завдання різко погіршується успішність виконання раніше вивчених завдань
   • Коли моделі не вистачає пам’яті та відбувається збій
   • Коли дані навчання випадково видаляються
   • Коли модель відмовляється робити прогнози
2. Компроміс, який лежить в основі безперервного навчання, часто називають:
   • Компроміс зміщення-дисперсії
   • Дилема стабільність-пластичність
   • Компроміс швидкість-точність
   • Компроміс розвідка-експлуатація
3. Що робить еластична консолідація ваги (EWC)?
   • Видаляє неважливі нейрони
   • Подвоює швидкість навчання для нових завдань
   • Штрафує зміни ваги, важливі для раніше вивчених завдань
   • Назавжди зберігає кожен попередній приклад навчання
4. Як методи, засновані на відтворенні, борються із забуванням?
   • Назавжди заморозивши всю мережу
   • Використовуючи більшу швидкість навчання
   • Вилучивши функцію втрат
   • Вставляючи збережені або згенеровані старі приклади в нове навчання
5. How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
   • It projects the gradient so its first-order approximation does not increase loss on stored prior-task examples
   • It replaces all prior-task data with new examples
   • It freezes every parameter for all future tasks
   • It increases weights that were unimportant to earlier tasks
6. Чому наївна тонка настройка нового завдання викликає забуття?
   • Графічний процесор перегрівається і пошкоджує пам'ять
   • Градієнтний спуск переміщує спільні ваги до нового завдання без обмежень щодо збереження старих
   • Нові завдання завжди містять більше даних
   • Модель навмисно видаляє старі ваги
7. How does iCaRL classify a test example after learning multiple classes?
   • By retrieving the single closest word in a text corpus
   • By selecting the class with the largest Fisher information
   • By comparing its feature vector with per-class means computed from stored exemplars
   • By replaying every training image at inference
8. Why is evaluating continual learning more than measuring final accuracy on the newest task?
   • New-task accuracy is the only relevant measure
   • Old tasks are removed from the evaluation
   • The model cannot be tested on multiple tasks
   • A method must also measure retention on prior tasks and its ability to learn new ones