引導式測驗 · 中等 等級

持續學習與災難性遺忘測驗

回顧災難性遺忘、穩定性可塑性、EWC、重播、任務族和持續學習限制。檢查範圍和假設。

問題 1 的 8

什麼是「災難性遺忘」?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 什麼是「災難性遺忘」?
    • 當學習新任務會大幅降低先前學習任務的表現時
    • 當模型記憶體不足並崩潰時
    • 當訓練資料被意外刪除時
    • 當模型拒絕做出預測時
  2. 持續學習的核心權衡通常被稱為:
    • 偏差-方差權衡
    • 穩定性-可塑性困境
    • 速度與精度的權衡
    • 探索-利用權衡
  3. 彈性權重合併 (EWC) 有什麼作用?
    • 刪除不重要的神經元
    • 新任務的學習率加倍
    • 懲罰對之前學習的任務很重要的權重變化
    • 永久儲存過去的每個訓練範例
  4. 基於重播的方法如何對抗遺忘?
    • 透過永久凍結整個網絡
    • 透過使用更大的學習率
    • 透過刪除損失函數
    • 透過將儲存或產生的舊範例交錯到新訓練中
  5. 梯度情景記憶(GEM)如何在學習新任務時限制梯度更新?
    • It projects the gradient so its first-order approximation does not increase loss on stored prior-task examples
    • It replaces all prior-task data with new examples
    • It freezes every parameter for all future tasks
    • It increases weights that were unimportant to earlier tasks
  6. 為什麼對新任務進行天真的微調會導致遺忘?
    • GPU 過熱並損壞內存
    • 梯度下降將共享權重移向新任務,而沒有保留舊任務的限制
    • 新任務總是有更多數據
    • 模型有意刪除舊權重
  7. How does iCaRL classify a test example after learning multiple classes?
    • By retrieving the single closest word in a text corpus
    • By selecting the class with the largest Fisher information
    • By comparing its feature vector with per-class means computed from stored exemplars
    • By replaying every training image at inference
  8. Why is evaluating continual learning more than measuring final accuracy on the newest task?
    • New-task accuracy is the only relevant measure
    • Old tasks are removed from the evaluation
    • The model cannot be tested on multiple tasks
    • A method must also measure retention on prior tasks and its ability to learn new ones