Kontinuierliches Lernen und katastrophales Vergessensquiz

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Was ist „katastrophales Vergessen“?
   • Beim Erlernen einer neuen Aufgabe nimmt die Leistung bei zuvor erlernten Aufgaben stark ab
   • Wenn einem Modell der Speicher ausgeht und es abstürzt
   • Wenn Trainingsdaten versehentlich gelöscht werden
   • Wenn ein Modell sich weigert, Vorhersagen zu treffen
2. Der Kompromiss, der dem kontinuierlichen Lernen zugrunde liegt, wird oft als Folgendes bezeichnet:
   • Kompromiss zwischen Bias und Varianz
   • Stabilitäts-Plastizitäts-Dilemma
   • Kompromiss zwischen Geschwindigkeit und Genauigkeit
   • Kompromiss zwischen Exploration und Ausbeutung
3. Was bewirkt die Elastic Weight Consolidation (EWC)?
   • Löscht unwichtige Neuronen
   • Verdoppelt die Lernrate für neue Aufgaben
   • Bestraft Änderungen an Gewichten, die für zuvor erlernte Aufgaben wichtig sind
   • Speichert jedes vergangene Trainingsbeispiel für immer
4. Wie bekämpfen wiedergabebasierte Methoden das Vergessen?
   • Indem das gesamte Netzwerk dauerhaft eingefroren wird
   • Durch Verwendung einer größeren Lernrate
   • Durch Entfernen der Verlustfunktion
   • Durch die Verschachtelung gespeicherter oder generierter alter Beispiele in neues Training
5. How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
   • It projects the gradient so its first-order approximation does not increase loss on stored prior-task examples
   • It replaces all prior-task data with new examples
   • It freezes every parameter for all future tasks
   • It increases weights that were unimportant to earlier tasks
6. Warum führt die naive Feinabstimmung einer neuen Aufgabe zum Vergessen?
   • Die GPU überhitzt und beschädigt den Speicher
   • Der Gradientenabstieg verschiebt gemeinsame Gewichte in Richtung der neuen Aufgabe, ohne dass die alten Gewichte erhalten bleiben müssen
   • Neue Aufgaben enthalten immer mehr Daten
   • Das Modell löscht absichtlich alte Gewichte
7. How does iCaRL classify a test example after learning multiple classes?
   • By retrieving the single closest word in a text corpus
   • By selecting the class with the largest Fisher information
   • By comparing its feature vector with per-class means computed from stored exemplars
   • By replaying every training image at inference
8. Why is evaluating continual learning more than measuring final accuracy on the newest task?
   • New-task accuracy is the only relevant measure
   • Old tasks are removed from the evaluation
   • The model cannot be tested on multiple tasks
   • A method must also measure retention on prior tasks and its ability to learn new ones