壊滅的な物忘れクイズ

クイズに答えると、答えと解説が表示されます。

1. ニューラル ネットワークにおける壊滅的な忘却を説明する状況はどれですか?
   • 新しいタスクを学習することにより、モデルが以前に学習した能力を失う場合
   • 推論中にモデルのメモリが不足した場合
   • 学習データを誤って削除してしまった場合
   • モデルが質問に答えることを拒否した場合
2. なぜ壊滅的な忘却がニューラルネットワークで起こるのでしょうか?
   • 各タスクは独自の個別のネットワークを自動的に取得するため、
   • 新しいグラデーションの更新により、古いスキルをエンコードした共有重みが上書きされるため
   • モデルは複数のファクトを保存できないため
   • 注意層が意図的にデータを削除するため
3. Elastic Weight Consolidation (EWC) は物忘れを減らすために何をしますか?
   • 新しいタスクのデータを削除します
   • 学習率が2倍になる
   • 以前に学習したタスクにとって重要な重みへの変更にペナルティを与えます
   • モデルから注意を取り除きます
4. 経験の再現（リハーサル）は忘却とどのように闘うのでしょうか？
   • モデル全体を永久にフリーズすることで
   • 最新のデータのみを使用してトレーニングすることにより、
   • レイヤー数を減らすことで
   • 新しいトレーニング中に保存された古いサンプルをインターリーブすることによって
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. 検索拡張アプローチはどのようにして壊滅的な忘却を回避するのでしょうか?
   • 古い知識を削除してスペースを空けることで、
   • 重みの代わりに新しい知識を外部データベースに保存することによって
   • ランダムノイズで継続的にトレーニングすることにより
   • モデルのメモリを完全に無効にすることで
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence