Kvíz spojený s průvodcem · Střední úroveň
Katastrofický kvíz zapomnění
Zjistěte, proč postupné učení se novým úkolům může zhoršit předchozí dovednosti a jak metody kontinuálního učení řeší kompromis.
Otázka 1 z 8
Která situace popisuje katastrofické zapomínání v neuronové síti?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Která situace popisuje katastrofické zapomínání v neuronové síti?
- Když se učí nový úkol, model ztratí dříve naučené schopnosti
- Když modelu během inference dojde paměť
- Když dojde k náhodnému smazání tréninkových dat
- Když modelka odmítne odpovědět na otázku
- Proč v neuronových sítích dochází ke katastrofálnímu zapomínání?
- Protože každá úloha automaticky získá svou vlastní samostatnou síť
- Protože nové aktualizace přechodů přepisují sdílené váhy, které zakódovaly staré dovednosti
- Protože modely nemohou uložit více než jednu skutečnost
- Protože vrstvy pozornosti mažou data záměrně
- Co dělá elastická konsolidace hmotnosti (EWC) pro snížení zapomínání?
- Smaže data nové úlohy
- Zdvojnásobuje rychlost učení
- Penalizuje změny vah důležité pro dříve naučené úkoly
- Odvádí pozornost od modelu
- Jak se zapomíná na opakování (zkoušku) boje?
- Trvalým zmrazením celého modelu
- Školením pouze na nejnovějších datech
- Snížením počtu vrstev
- Prokládáním uložených starých příkladů během nového školení
- What does LoRA do to base-model weights when adding a task-specific adapter?
- It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
- It rewrites every base weight for each new task
- It stores no task-specific parameters
- It guarantees zero forgetting on every task sequence
- Jak se přístup s rozšířeným vyhledáváním vyhýbá katastrofickému zapomínání?
- Vymazáním starých znalostí, aby se uvolnilo místo
- Ukládáním nových znalostí do externí databáze místo vah
- Nepřetržitým tréninkem na náhodný hluk
- Úplným vypnutím paměti modelu
- How does Gradient Episodic Memory (GEM) constrain learning on a new task?
- It removes old task examples from memory
- It changes the model to a nearest-class-mean classifier
- It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
- It adds a KL penalty to every parameter regardless of task
- How do RAG-Token and RAG-Sequence differ in the original RAG paper?
- RAG-Token removes retrieval while RAG-Sequence removes generation
- RAG-Sequence uses images while RAG-Token uses audio
- RAG-Token trains without model parameters
- RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence