Тест за катастрофално забравяне

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Which situation describes catastrophic forgetting in a neural network?
   • Когато заучаването на нова задача кара модела да загуби научени преди това способности
   • Когато моделът изчерпи паметта по време на извод
   • Когато данните за обучението са случайно изтрити
   • Когато модел откаже да отговори на въпрос
2. Защо се случва катастрофално забравяне в невронните мрежи?
   • Тъй като всяка задача автоматично получава своя отделна мрежа
   • Тъй като новите актуализации на градиента презаписват споделените тегла, които са кодирали стари умения
   • Тъй като моделите не могат да съхраняват повече от един факт
   • Тъй като слоевете на внимание изтриват данни нарочно
3. Какво прави еластичната консолидация на теглото (EWC), за да намали забравянето?
   • Изтрива данните на новата задача
   • Удвоява скоростта на обучение
   • Санкционира промените в теглата, важни за предварително научени задачи
   • Премахва вниманието от модела
4. Как преиграването на опита (репетицията) се бори със забравянето?
   • Чрез замразяване на целия модел за постоянно
   • Като тренирате само по най-новите данни
   • Чрез намаляване на броя на слоевете
   • Чрез вмъкване на съхранени стари примери по време на ново обучение
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. Как подходът с подобрено извличане заобикаля катастрофалното забравяне?
   • Като изтриете стари знания, за да освободите място
   • Като съхранява нови знания във външна база данни вместо теглата
   • Като тренирате непрекъснато върху произволен шум
   • Чрез пълно деактивиране на паметта на модела
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence