語言人工智慧指南

災難性遺忘

Catastrophic forgetting occurs when training on new tasks degrades performance on previously learned tasks.

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 災難性遺忘的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

Continual-learning methods attempt to balance adaptation and retention.

深入探討

Catastrophic forgetting occurs when learning new tasks degrades earlier capabilities. EWC penalizes changes to parameters important to earlier tasks; GEM constrains gradients using episodic examples under a local first-order approximation; iCaRL stores exemplars and uses class-mean features. LoRA freezes base weights and learns low-rank task updates, which may reduce direct interference but does not guarantee retention. The original RAG paper distinguishes sequence-level and token-level document marginalization. These mechanisms address different issues and require evaluation on old and new tasks.

現實世界的實施

Elastic Weight Consolidation penalizes changes to parameters estimated to be important for earlier tasks.

Experience replay mixes stored earlier examples with new-task examples during training.

LoRA keeps task-specific low-rank updates separate from frozen base weights in some adaptation settings.

Retrieval-augmented generation can consult an external index rather than storing every fact only in model parameters.

災難性遺忘的未來

Evaluate old and new task performance after each update and make the retention criterion explicit. Choose methods based on data availability, storage and privacy constraints. Research benchmarks do not establish that any single technique prevents forgetting in all deployment settings.

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Catastrophic Forgetting quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是災難性遺忘?

Catastrophic forgetting occurs when training on new tasks degrades performance on previously learned tasks. Continual-learning methods attempt to balance adaptation and retention.

哪一種情況描述了神經網路中災難性的遺忘?

災難性遺忘是指當網路接受新任務訓練時,舊功能突然喪失,因為共享權重被覆蓋。

為什麼神經網路會發生災難性遺忘?

知識存在於共享參數中,因此對新資料的訓練會改變相同的權重並消除早期的學習。

彈性權重鞏固(EWC)如何減少遺忘?

EWC 增加了正則化懲罰,減慢了對舊任務重要的參數的更新速度,這些參數是透過 Fisher 資訊估計的。

體驗重播(排練)如何對抗遺忘?

排練混合過去的範例(儲存或生成),同時學習新任務,從而加強舊的表現。

What does LoRA do to base-model weights when adding a task-specific adapter?

LoRA freezes base weights and trains low-rank updates for a task. This can reduce direct parameter interference but does not guarantee retention across every continual-learning sequence.