引導式測驗 · 中等 等級

災難性遺忘測驗

研究為什麼順序學習新任務會降低先前的技能,以及持續學習方法如何解決這種權衡問題。

相關引導路徑災難性遺忘
問題 1 的 8

哪一種情況描述了神經網路中災難性的遺忘?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 哪一種情況描述了神經網路中災難性的遺忘?
    • 當學習新任務導致模型失去先前學習的能力時
    • 當模型在推理過程中記憶體不足時
    • 當訓練資料被意外刪除時
    • 當模特兒拒絕回答問題時
  2. 為什麼神經網路會發生災難性遺忘?
    • 因為每個任務都會自動獲得自己獨立的網絡
    • 因為新的梯度更新會涵蓋編碼舊技能的共享權重
    • 因為模型不能儲存多個事實
    • 因為注意力層故意刪除數據
  3. 彈性權重鞏固(EWC)如何減少遺忘?
    • 刪除新任務的數據
    • 學習率加倍
    • 懲罰對之前學習的任務很重要的權重變化
    • 消除模型的注意力
  4. 體驗重播(排練)如何對抗遺忘?
    • 透過永久凍結整個模型
    • 僅根據最新數據進行訓練
    • 透過減少層數
    • 透過在新訓練期間交錯儲存的舊範例
  5. What does LoRA do to base-model weights when adding a task-specific adapter?
    • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
    • It rewrites every base weight for each new task
    • It stores no task-specific parameters
    • It guarantees zero forgetting on every task sequence
  6. 檢索增強方法如何避免災難性遺忘?
    • 透過刪除舊知識來騰出空間
    • 透過將新知識而不是權重儲存在外部資料庫中
    • 透過對隨機噪音進行連續訓練
    • 透過完全禁用模型的內存
  7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
    • It removes old task examples from memory
    • It changes the model to a nearest-class-mean classifier
    • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
    • It adds a KL penalty to every parameter regardless of task
  8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
    • RAG-Token removes retrieval while RAG-Sequence removes generation
    • RAG-Sequence uses images while RAG-Token uses audio
    • RAG-Token trains without model parameters
    • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence