継続的な学習と壊滅的な忘却に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 「壊滅的な忘却」とは何ですか？
   • 新しいタスクを学習すると、以前に学習したタスクのパフォーマンスが大幅に低下する場合
   • モデルがメモリ不足でクラッシュした場合
   • 学習データを誤って削除してしまった場合
   • モデルが予測を拒否する場合
2. 継続的な学習の中心となるトレードオフは、次のように呼ばれることがあります。
   • バイアスと分散のトレードオフ
   • 安定性と可塑性のジレンマ
   • 速度と精度のトレードオフ
   • 探索と活用のトレードオフ
3. Elastic Weight Consolidation (EWC) は何をするのですか?
   • 重要でないニューロンを削除します
   • 新しいタスクの学習率が 2 倍になります
   • 以前に学習したタスクにとって重要な重みへの変更にペナルティを与えます
   • 過去のすべてのトレーニング例を永久に保存します
4. リプレイベースの方法はどのようにして忘却と闘うのでしょうか?
   • ネットワーク全体を永久に凍結することで
   • より大きな学習率を使用することにより
   • 損失関数を取り除くことで
   • 保存または生成された古いサンプルを新しいトレーニングにインターリーブすることによって
5. How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
   • It projects the gradient so its first-order approximation does not increase loss on stored prior-task examples
   • It replaces all prior-task data with new examples
   • It freezes every parameter for all future tasks
   • It increases weights that were unimportant to earlier tasks
6. 新しいタスクを単純に微調整すると、なぜ忘れてしまうのでしょうか?
   • GPUが過熱してメモリが破損する
   • 勾配降下法は、古いタスクを保持する制約なしで、共有の重みを新しいタスクに移動します。
   • 新しいタスクには常により多くのデータが含まれます
   • モデルは古い重みを意図的に削除します
7. How does iCaRL classify a test example after learning multiple classes?
   • By retrieving the single closest word in a text corpus
   • By selecting the class with the largest Fisher information
   • By comparing its feature vector with per-class means computed from stored exemplars
   • By replaying every training image at inference
8. Why is evaluating continual learning more than measuring final accuracy on the newest task?
   • New-task accuracy is the only relevant measure
   • Old tasks are removed from the evaluation
   • The model cannot be tested on multiple tasks
   • A method must also measure retention on prior tasks and its ability to learn new ones