Quiz zum katastrophalen Vergessen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

1. Welche Situation beschreibt katastrophales Vergessen in einem neuronalen Netzwerk?
   • Das Erlernen einer neuen Aufgabe führt dazu, dass ein Modell zuvor erlernte Fähigkeiten verliert
   • Wenn einem Modell während der Inferenz nicht mehr genügend Speicher zur Verfügung steht
   • Wenn Trainingsdaten versehentlich gelöscht werden
   • Wenn ein Model sich weigert, eine Frage zu beantworten
2. Warum kommt es in neuronalen Netzen zu katastrophalem Vergessen?
   • Denn jede Aufgabe erhält automatisch ein eigenes, separates Netzwerk
   • Denn neue Verlaufsaktualisierungen überschreiben gemeinsame Gewichtungen, die alte Fähigkeiten kodierten
   • Denn Modelle können nicht mehr als einen Fakt speichern
   • Weil Aufmerksamkeitsebenen absichtlich Daten löschen
3. Was bewirkt die elastische Gewichtskonsolidierung (EWC), um das Vergessen zu reduzieren?
   • Löscht die Daten der neuen Aufgabe
   • Verdoppelt die Lernrate
   • Bestraft Änderungen an Gewichten, die für zuvor erlernte Aufgaben wichtig sind
   • Lenkt die Aufmerksamkeit vom Modell ab
4. Wie erlebt man das Wiederholen (Proben) des Kampfvergessens?
   • Durch dauerhaftes Einfrieren des gesamten Modells
   • Indem Sie nur auf den neuesten Daten trainieren
   • Durch die Reduzierung der Anzahl der Schichten
   • Durch die Verschachtelung gespeicherter alter Beispiele während des neuen Trainings
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. Wie umgeht ein abrufgestützter Ansatz katastrophales Vergessen?
   • Indem altes Wissen gelöscht wird, um Platz zu schaffen
   • Durch die Speicherung neuen Wissens in einer externen Datenbank statt in den Gewichten
   • Durch kontinuierliches Training mit zufälligem Rauschen
   • Durch vollständiges Deaktivieren des Modellspeichers
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence