Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Katasztrofális felejtés kvíz
Study why sequentially learning new tasks can degrade previous skills and how continual-learning methods address the tradeoff.
kérdés 1 -ból 8
Melyik szituáció írja le a katasztrofális felejtést egy neurális hálózatban?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Melyik szituáció írja le a katasztrofális felejtést egy neurális hálózatban?
- Amikor egy új feladat tanulása során a modell elveszíti korábban tanult képességeit
- Amikor egy modell memóriája elfogy a következtetés során
- Ha az edzésadatok véletlenül törlődnek
- Amikor egy modell nem hajlandó válaszolni egy kérdésre
- Miért történik katasztrofális felejtés a neurális hálózatokban?
- Mert minden feladat automatikusan külön hálózatot kap
- Mivel az új színátmenet-frissítések felülírják a régi készségeket kódoló megosztott súlyokat
- Mert a modellek nem tárolhatnak több tényt
- Mivel a figyelemrétegek szándékosan törlik az adatokat
- Mit tesz az Elastic Weight Consolidation (EWC) a felejtés csökkentése érdekében?
- Törli az új feladat adatait
- Megduplázza a tanulási sebességet
- Bünteti a korábban megtanult feladatokhoz fontos súlyok megváltoztatását
- Eltávolítja a figyelmet a modellről
- Hogyan küzd meg az újrajátszás (próba) tapasztalata a felejtéssel?
- A teljes modell végleges lefagyasztásával
- Csak a legfrissebb adatokra oktatva
- A rétegek számának csökkentésével
- A tárolt régi példák egymásba illesztésével az új képzés során
- What does LoRA do to base-model weights when adding a task-specific adapter?
- It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
- It rewrites every base weight for each new task
- It stores no task-specific parameters
- It guarantees zero forgetting on every task sequence
- Hogyan kerülheti el a katasztrofális felejtést egy visszakereséssel kiegészített megközelítés?
- A régi tudás törlésével, hogy hely legyen
- Úgy, hogy az új ismereteket a súlyok helyett külső adatbázisban tároljuk
- Folyamatos edzéssel véletlenszerű zajon
- A modell memóriájának teljes letiltásával
- How does Gradient Episodic Memory (GEM) constrain learning on a new task?
- It removes old task examples from memory
- It changes the model to a nearest-class-mean classifier
- It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
- It adds a KL penalty to every parameter regardless of task
- How do RAG-Token and RAG-Sequence differ in the original RAG paper?
- RAG-Token removes retrieval while RAG-Sequence removes generation
- RAG-Sequence uses images while RAG-Token uses audio
- RAG-Token trains without model parameters
- RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence