Викторина «Непрерывное обучение и катастрофическое забывание»

Ответы и пояснения появляются по мере прохождения теста.

1. Что такое «катастрофическое забвение»?
   • При изучении новой задачи резко ухудшается успеваемость по ранее изученным задачам.
   • Когда модели не хватает памяти и происходит сбой
   • Когда данные обучения случайно удалены
   • Когда модель отказывается делать прогнозы
2. Компромисс, лежащий в основе непрерывного обучения, часто называют:
   • Компромисс смещения и дисперсии
   • Дилемма стабильности-пластичности
   • Компромисс между скоростью и точностью
   • Компромисс между разведкой и эксплуатацией
3. Что делает эластичная консолидация веса (EWC)?
   • Удаляет неважные нейроны
   • Удваивает скорость обучения новым задачам.
   • Наказывается изменением весов, важных для ранее изученных задач.
   • Сохраняет каждый прошлый пример обучения навсегда
4. Как методы, основанные на воспроизведении, борются с забыванием?
   • Заморозив всю сеть навсегда
   • Используя более высокую скорость обучения
   • Удалив функцию потерь
   • Путем чередования сохраненных или сгенерированных старых примеров в новое обучение.
5. How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
   • It projects the gradient so its first-order approximation does not increase loss on stored prior-task examples
   • It replaces all prior-task data with new examples
   • It freezes every parameter for all future tasks
   • It increases weights that were unimportant to earlier tasks
6. Почему наивная тонкая настройка на новую задачу приводит к забывчивости?
   • Графический процессор перегревается и повреждает память
   • Градиентный спуск перемещает общие веса в сторону новой задачи без ограничений по сохранению старых.
   • В новых задачах всегда больше данных
   • Модель намеренно удаляет старые веса.
7. How does iCaRL classify a test example after learning multiple classes?
   • By retrieving the single closest word in a text corpus
   • By selecting the class with the largest Fisher information
   • By comparing its feature vector with per-class means computed from stored exemplars
   • By replaying every training image at inference
8. Why is evaluating continual learning more than measuring final accuracy on the newest task?
   • New-task accuracy is the only relevant measure
   • Old tasks are removed from the evaluation
   • The model cannot be tested on multiple tasks
   • A method must also measure retention on prior tasks and its ability to learn new ones