災難性遺忘
災難性遺忘是指神經網路學習一項新任務並突然失去執行已經掌握的任務的能力。
概述
It is a central obstacle to building AI that learns continually without retraining from scratch.
深入探討
神經網路將知識儲存在共享權重中。當您在新任務上訓練模型時，梯度更新會覆蓋編碼早期技能的參數，因此舊的效能可能會崩潰。這就是災難性遺忘，也稱為災難性幹擾，由 McCloskey 和 Cohen 於 1989 年首次記錄。這種情況在順序學習或連續學習中非常嚴重，資料是分階段到達的，而不是全部混合在一起。例如，對法律文本進行大量微調可能會降低其一般對話能力。標準的強力修復方法是聯合重新訓練所有任務，但這成本高昂，並且假設您仍然擁有舊數據。相反，研究人員使用保護重要權重、重播過去的範例或添加特定於任務的參數的技術，所有這些都旨在讓模型像人類一樣累積知識。
技術洞察
遺忘的發生是因為在任務中重複使用相同的權重，而新資料上的無約束梯度下降可以自由地移動它們。緩解措施包括彈性權重合併，它增加了懲罰，減緩了對舊任務重要的參數的變化（透過 Fisher 資訊估計）。其他方法包括排練或體驗重播（交錯儲存或產生的舊範例），以及參數隔離方法，例如適配器或 LoRA，它們凍結基本模型並添加小型新模組。
戰略影響
速度與規模
語言工作流程可以在不犧牲一致性的情況下更快地移動。
交通與覆蓋範圍
它擴展了跨語言和溝通方式的訪問。
更明確的決策
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
災難性遺忘的未來
隨著模型從一次性訓練轉向終身、不斷更新的系統，控制遺忘變得至關重要。像 LoRA 適配器這樣的參數高效方法可以讓團隊在不干擾基本模型的情況下添加技能，而檢索增強系統透過將新知識而不是權重保存在外部儲存中來迴避這個問題。預計持續學習基準、模組化架構和受大腦啟發的整合技術將會成熟，推動我們的模型能夠使用新資訊進行更新，同時可靠地保留他們已經知道的內容。
現實世界的實施
對醫療文本進行大量微調的一般聊天機器人在休閒對話中會失去流暢性。
彈性權重合併讓玩遊戲的代理商可以學習新的 Atari 遊戲，而不會忘記舊的遊戲。
團隊使用 LoRA 適配器添加新的領域技能，同時保持凍結的基礎模型的能力完好無損。
經驗回放會儲存過去的範例，並在新訓練期間將它們交錯以保留舊的效能。
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
當準確性很重要時，請使用可信任來源進行地面回應。
為高風險輸出保留人工審查檢查點。
追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Catastrophic Forgetting?
災難性遺忘是指神經網路學習一項新任務並突然失去執行已經掌握的任務的能力。這是建立持續學習而無需從頭開始重新訓練的人工智慧的主要障礙。
什麼是災難性遺忘？
災難性遺忘是指當網路接受新任務訓練時，舊功能突然喪失，因為共享權重被覆蓋。
為什麼神經網路會發生災難性遺忘？
知識存在於共享參數中，因此對新資料的訓練會改變相同的權重並消除早期的學習。
彈性權重鞏固（EWC）如何減少遺忘？
EWC 增加了正則化懲罰，減慢了對舊任務重要的參數的更新速度，這些參數是透過 Fisher 資訊估計的。
體驗重播（排練）如何對抗遺忘？
排練混合過去的範例（儲存或生成），同時學習新任務，從而加強舊的表現。
為什麼 LoRA 適配器對於避免災難性遺忘很有用？
LoRA 保持基本模型凍結並學習小的附加參數，因此新技能不會幹擾現有能力。