持續學習和災難性遺忘
持續學習的目標是隨著時間的推移訓練人工智慧執行一系列新任務，而不抹掉它已經知道的知識。
概述
Its central obstacle is catastrophic forgetting: when a neural network learns a new task, gradient updates overwrite the weights that encoded earlier tasks, and old skills collapse.
深入探討
標準神經網路假設所有數據一次性可用。在現實世界中，資料是按順序到達的，對新任務的天真微調會導致災難性的遺忘——由於共享權重被重寫，先前任務的效能直線下降。持續學習尋求平衡穩定（保留舊知識）與可塑性（吸收新知識），這是典型的穩定-可塑性困境。有三個主要的解決方案：正則化方法，如彈性權重合併，懲罰對舊任務重要的權重的變化；重播方法存儲或生成過去任務的樣本並在訓練期間交錯它們；以及為每個任務分配新參數或模組的架構方法。沒有一種方法可以完全解決這個問題，並且評估跨越任務、領域和類別增量設定。
技術洞察
災難性遺忘的出現是因為新任務的梯度下降將共享權重移向新的最優值，而沒有限制留在適合舊任務的區域附近。彈性權重合併（Elastic Weight Consolidation）估計每個權重的重要性（透過 Fisher 資訊矩陣），並添加二次懲罰，將重要權重錨定在其舊值附近。重播透過將儲存或產生的舊範例混合到新批次中來近似原始聯合分佈，因此梯度反映了舊任務和新任務，從而減少了破壞性覆蓋。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
持續學習與災難性遺忘的未來
持續學習對於保持大型模型的最新性越來越重要，而無需進行全面、昂貴的再培訓。研究正在推動參數高效的持續更新（適配器、每個任務添加的 LoRA 模組）、使用生成模型更好地重播，以及更新基礎模型中的知識同時避免遺忘和不必要的漂移的方法。期望與終身代理建立更緊密的聯繫，這些代理在設備上學習、保護隱私的重放，避免存儲原始數據，以及更好地反映現實的非平穩數據流而不是整齊的任務邊界的基準。
現實世界的實施
已部署的影像分類器必須每月學習新的產品類別，而不會忘記較早的產品類別。
設備上的個人化（鍵盤或語音助理）可以隨著時間的推移適應用戶，而不會失去整體準確性。
機器人可以依序獲得新的操作技能，同時保留先前掌握的技能。
使用適配器使用新事實或領域更新語言模型，從而保留先前的功能。
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄持續學習和災難性遺忘在哪些方面有幫助，以及哪些更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Continual Learning and Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Continual Learning and Catastrophic Forgetting?
持續學習的目標是隨著時間的推移訓練人工智慧執行一系列新任務，而不抹掉它已經知道的知識。它的核心障礙是災難性遺忘：當神經網路學習新任務時，梯度更新會覆蓋編碼早期任務的權重，舊的技能就會崩潰。
什麼是「災難性遺忘」？
災難性遺忘是指當網路的共享權重在學習新事物時被覆蓋時，舊任務效能的急劇下降。
彈性權重合併 (EWC) 有什麼作用？
EWC 添加了懲罰（使用 Fisher 資訊），錨定對舊任務重要的權重，從而減少遺忘。
基於重播的方法如何對抗遺忘？
重播將過去的範例混合到新的批次中，因此梯度反映了新舊任務，近似原始聯合資料。
哪一個不是持續學習方法的三個主要係列之一？
三個主要係列是正規化、重播和架構方法；壓縮不是其中之一。
為什麼對新任務進行天真的微調會導致遺忘？
無約束的梯度更新將共享權重重寫為新的最優值，放棄了對先前任務有利的區域。