Katastrofalne zapomnienie – quiz

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Which situation describes catastrophic forgetting in a neural network?
   • Uczenie się nowego zadania powoduje, że model traci wcześniej wyuczone umiejętności
   • Kiedy w modelu zabraknie pamięci podczas wnioskowania
   • Gdy dane treningowe zostaną przypadkowo usunięte
   • Kiedy modelka odmawia odpowiedzi na pytanie
2. Dlaczego w sieciach neuronowych dochodzi do katastrofalnego zapominania?
   • Ponieważ każde zadanie automatycznie otrzymuje własną, oddzielną sieć
   • Ponieważ nowe aktualizacje gradientów zastępują wspólne wagi, które kodowały stare umiejętności
   • Ponieważ modele nie mogą przechowywać więcej niż jednego faktu
   • Ponieważ warstwy uwagi celowo usuwają dane
3. W jaki sposób elastyczna konsolidacja ciężaru (EWC) pomaga ograniczyć zapominanie?
   • Usuwa dane nowego zadania
   • Podwaja tempo uczenia się
   • Penalizuje zmiany ciężarów ważnych dla wcześniej wyuczonych zadań
   • Odwraca uwagę od modela
4. W jaki sposób doświadczenie powtórki (próby) pomaga w walce z zapominaniem?
   • Zamrażając na stałe cały model
   • Trenując wyłącznie na najnowszych danych
   • Poprzez zmniejszenie liczby warstw
   • Przeplatając zapisane stare przykłady podczas nowego szkolenia
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. W jaki sposób podejście oparte na odzyskiwaniu pozwala uniknąć katastrofalnego zapominania?
   • Usuwając starą wiedzę, aby zrobić miejsce
   • Poprzez przechowywanie nowej wiedzy w zewnętrznej bazie danych zamiast wag
   • Poprzez ciągłe szkolenie na losowym hałasie
   • Całkowicie wyłączając pamięć modelu
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence