引導式測驗 · 中等 等級
災難性遺忘測驗
研究為什麼順序學習新任務會降低先前的技能,以及持續學習方法如何解決這種權衡問題。
問題 1 的 8
哪一種情況描述了神經網路中災難性的遺忘?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 哪一種情況描述了神經網路中災難性的遺忘?
- 當學習新任務導致模型失去先前學習的能力時
- 當模型在推理過程中記憶體不足時
- 當訓練資料被意外刪除時
- 當模特兒拒絕回答問題時
- 為什麼神經網路會發生災難性遺忘?
- 因為每個任務都會自動獲得自己獨立的網絡
- 因為新的梯度更新會涵蓋編碼舊技能的共享權重
- 因為模型不能儲存多個事實
- 因為注意力層故意刪除數據
- 彈性權重鞏固(EWC)如何減少遺忘?
- 刪除新任務的數據
- 學習率加倍
- 懲罰對之前學習的任務很重要的權重變化
- 消除模型的注意力
- 體驗重播(排練)如何對抗遺忘?
- 透過永久凍結整個模型
- 僅根據最新數據進行訓練
- 透過減少層數
- 透過在新訓練期間交錯儲存的舊範例
- What does LoRA do to base-model weights when adding a task-specific adapter?
- It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
- It rewrites every base weight for each new task
- It stores no task-specific parameters
- It guarantees zero forgetting on every task sequence
- 檢索增強方法如何避免災難性遺忘?
- 透過刪除舊知識來騰出空間
- 透過將新知識而不是權重儲存在外部資料庫中
- 透過對隨機噪音進行連續訓練
- 透過完全禁用模型的內存
- How does Gradient Episodic Memory (GEM) constrain learning on a new task?
- It removes old task examples from memory
- It changes the model to a nearest-class-mean classifier
- It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
- It adds a KL penalty to every parameter regardless of task
- How do RAG-Token and RAG-Sequence differ in the original RAG paper?
- RAG-Token removes retrieval while RAG-Sequence removes generation
- RAG-Sequence uses images while RAG-Token uses audio
- RAG-Token trains without model parameters
- RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence