Kvíz spojený s průvodcem · Střední úroveň

Katastrofický kvíz zapomnění

Zjistěte, proč postupné učení se novým úkolům může zhoršit předchozí dovednosti a jak metody kontinuálního učení řeší kompromis.

Související vodicí cestyKatastrofické zapomnění
Otázka 1 z 8

Která situace popisuje katastrofické zapomínání v neuronové síti?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Která situace popisuje katastrofické zapomínání v neuronové síti?
    • Když se učí nový úkol, model ztratí dříve naučené schopnosti
    • Když modelu během inference dojde paměť
    • Když dojde k náhodnému smazání tréninkových dat
    • Když modelka odmítne odpovědět na otázku
  2. Proč v neuronových sítích dochází ke katastrofálnímu zapomínání?
    • Protože každá úloha automaticky získá svou vlastní samostatnou síť
    • Protože nové aktualizace přechodů přepisují sdílené váhy, které zakódovaly staré dovednosti
    • Protože modely nemohou uložit více než jednu skutečnost
    • Protože vrstvy pozornosti mažou data záměrně
  3. Co dělá elastická konsolidace hmotnosti (EWC) pro snížení zapomínání?
    • Smaže data nové úlohy
    • Zdvojnásobuje rychlost učení
    • Penalizuje změny vah důležité pro dříve naučené úkoly
    • Odvádí pozornost od modelu
  4. Jak se zapomíná na opakování (zkoušku) boje?
    • Trvalým zmrazením celého modelu
    • Školením pouze na nejnovějších datech
    • Snížením počtu vrstev
    • Prokládáním uložených starých příkladů během nového školení
  5. What does LoRA do to base-model weights when adding a task-specific adapter?
    • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
    • It rewrites every base weight for each new task
    • It stores no task-specific parameters
    • It guarantees zero forgetting on every task sequence
  6. Jak se přístup s rozšířeným vyhledáváním vyhýbá katastrofickému zapomínání?
    • Vymazáním starých znalostí, aby se uvolnilo místo
    • Ukládáním nových znalostí do externí databáze místo vah
    • Nepřetržitým tréninkem na náhodný hluk
    • Úplným vypnutím paměti modelu
  7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
    • It removes old task examples from memory
    • It changes the model to a nearest-class-mean classifier
    • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
    • It adds a KL penalty to every parameter regardless of task
  8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
    • RAG-Token removes retrieval while RAG-Sequence removes generation
    • RAG-Sequence uses images while RAG-Token uses audio
    • RAG-Token trains without model parameters
    • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence