Test catastrofal privind uitarea

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Care situație descrie uitarea catastrofală într-o rețea neuronală?
   • Când învățarea unei noi sarcini determină ca un model să piardă abilitățile învățate anterior
   • Când un model rămâne fără memorie în timpul inferenței
   • Când datele de antrenament sunt șterse accidental
   • Când un model refuză să răspundă la o întrebare
2. De ce se întâmplă uitarea catastrofală în rețelele neuronale?
   • Pentru că fiecare sarcină primește automat propria rețea separată
   • Deoarece noile actualizări de gradient suprascriu greutăți comune care codificau vechile abilități
   • Pentru că modelele nu pot stoca mai mult de un fapt
   • Deoarece straturile de atenție șterg datele intenționat
3. Ce face Elastic Weight Consolidation (EWC) pentru a reduce uitarea?
   • Șterge datele noii sarcini
   • Dublează rata de învățare
   • Penalizează modificările aduse greutăților importante pentru sarcinile învățate anterior
   • Îndepărtează atenția de la model
4. Cum reluarea (repetiția) combate uitarea?
   • Prin înghețarea permanentă a întregului model
   • Prin antrenament numai pe cele mai noi date
   • Prin reducerea numărului de straturi
   • Prin intercalarea vechilor exemple stocate în timpul noului antrenament
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. Cum o abordare îmbunătățită de recuperare ocolește uitarea catastrofală?
   • Prin ștergerea cunoștințelor vechi pentru a face loc
   • Prin stocarea noilor cunoștințe într-o bază de date externă în locul greutăților
   • Antrenând continuu pe zgomot aleatoriu
   • Prin dezactivarea completă a memoriei modelului
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence