Тест за непрекъснато учене и катастрофално забравяне

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво е „катастрофално забравяне“?
   • При изучаване на нова задача рязко влошава ефективността на предварително научени задачи
   • Когато паметта на модела му свърши и се срине
   • Когато данните за обучението са случайно изтрити
   • Когато един модел отказва да прави прогнози
2. Компромисът в основата на непрекъснатото обучение често се нарича:
   • Компромис отклонение-вариация
   • Дилема стабилност-пластичност
   • Компромис скорост-точност
   • Компромис между проучване и експлоатация
3. Какво прави еластичната консолидация на теглото (EWC)?
   • Изтрива маловажните неврони
   • Удвоява скоростта на обучение за нови задачи
   • Санкционира промените в теглата, важни за предварително научени задачи
   • Съхранява всеки минал пример за обучение завинаги
4. Как базираните на повторение методи се борят със забравянето?
   • Чрез замразяване на цялата мрежа за постоянно
   • Чрез използване на по-голяма скорост на обучение
   • Чрез премахване на функцията за загуба
   • Чрез вмъкване на съхранени или генерирани стари примери в ново обучение
5. How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
   • It projects the gradient so its first-order approximation does not increase loss on stored prior-task examples
   • It replaces all prior-task data with new examples
   • It freezes every parameter for all future tasks
   • It increases weights that were unimportant to earlier tasks
6. Защо наивната фина настройка на нова задача води до забравяне?
   • Графичният процесор прегрява и разваля паметта
   • Градиентното спускане премества споделените тегла към новата задача без ограничение за запазване на старите
   • Новите задачи винаги имат повече данни
   • Моделът умишлено изтрива стари тежести
7. How does iCaRL classify a test example after learning multiple classes?
   • By retrieving the single closest word in a text corpus
   • By selecting the class with the largest Fisher information
   • By comparing its feature vector with per-class means computed from stored exemplars
   • By replaying every training image at inference
8. Why is evaluating continual learning more than measuring final accuracy on the newest task?
   • New-task accuracy is the only relevant measure
   • Old tasks are removed from the evaluation
   • The model cannot be tested on multiple tasks
   • A method must also measure retention on prior tasks and its ability to learn new ones