Gids-gekoppelde quiz · Middelmatig Niveau
Catastrofale vergeetquiz
Bestudeer waarom het sequentieel aanleren van nieuwe taken eerdere vaardigheden kan aantasten en hoe methoden voor continu leren dit afwegingsvraagstuk aanpakken.
Vraag 1 van 8
Welke situatie beschrijft catastrofaal vergeten in een neuraal netwerk?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke situatie beschrijft catastrofaal vergeten in een neuraal netwerk?
- Wanneer het leren van een nieuwe taak ervoor zorgt dat een model eerder geleerde vaardigheden verliest
- Wanneer een model onvoldoende geheugen heeft tijdens gevolgtrekking
- Wanneer trainingsgegevens per ongeluk worden verwijderd
- Wanneer een model weigert een vraag te beantwoorden
- Waarom gebeurt catastrofaal vergeten in neurale netwerken?
- Omdat elke taak automatisch een eigen, afzonderlijk netwerk krijgt
- Omdat nieuwe verloopupdates de gedeelde gewichten overschrijven die oude vaardigheden codeerden
- Omdat modellen niet meer dan één feit kunnen opslaan
- Omdat aandachtslagen met opzet gegevens verwijderen
- Wat doet Elastic Weight Consolidation (EWC) om vergeten te verminderen?
- Verwijdert de gegevens van de nieuwe taak
- Verdubbelt het leerpercentage
- Bestraft veranderingen in gewichten die belangrijk zijn voor eerder geleerde taken
- Haalt de aandacht weg van het model
- Hoe gaat ervaringsherhaling (repetitie) het vergeten tegen?
- Door het hele model permanent te bevriezen
- Door alleen te trainen op de nieuwste data
- Door het aantal lagen te verminderen
- Door opgeslagen oude voorbeelden te verweven tijdens nieuwe training
- What does LoRA do to base-model weights when adding a task-specific adapter?
- It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
- It rewrites every base weight for each new task
- It stores no task-specific parameters
- It guarantees zero forgetting on every task sequence
- Hoe omzeilt een retrieval-augmented aanpak catastrofaal vergeten?
- Door oude kennis te verwijderen om ruimte te maken
- Door nieuwe kennis op te slaan in een externe database in plaats van de gewichten
- Door continu te trainen op willekeurige ruis
- Door het geheugen van het model volledig uit te schakelen
- How does Gradient Episodic Memory (GEM) constrain learning on a new task?
- It removes old task examples from memory
- It changes the model to a nearest-class-mean classifier
- It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
- It adds a KL penalty to every parameter regardless of task
- How do RAG-Token and RAG-Sequence differ in the original RAG paper?
- RAG-Token removes retrieval while RAG-Sequence removes generation
- RAG-Sequence uses images while RAG-Token uses audio
- RAG-Token trains without model parameters
- RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence