概述
災難性遺忘是一種常見的失敗,學習新任務會降低早期的表現。
深入探討
EWC 使用基於 Fisher 資訊的正則化器來阻止對先前任務重要的參數進行更改。 GEM 使用情境範例來約束梯度更新;它的保證涉及先前任務損失的局部線性近似,因此實際的有限更新仍然可以改變效能。 iCaRL 儲存樣本,透過聚集程序選擇代表,並使用每類平均特徵進行分類。重播方法重新審視保留的範例;這些方法具有不同的記憶體、隱私和計算權衡。穩定性與可塑性的權衡描述了保持記憶與學習新任務之間的平衡。
現實世界的實施
每次更新後評估新舊任務。
在資料政策允許的情況下使用重播範例。
將 EWC 等正則化方法與微調進行比較。
記錄任務順序和記憶體預算。
持續學習與災難性遺忘的未來
持續學習的結果取決於任務序列、模型、資料存取和評估協議。報告新任務學習和舊任務保留。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄持續學習和災難性遺忘在哪些方面有幫助,以及哪些更簡單的方法更好。
不斷探索
常見問題
什麼是持續學習和災難性遺忘?
持續學習透過一系列任務或資料流更新模型,同時嘗試保留有用的先前功能。災難性遺忘是一種常見的失敗,學習新任務會降低早期的表現。
什麼是「災難性遺忘」?
災難性遺忘是指當網路的共享權重在學習新事物時被覆蓋時,舊任務效能的急劇下降。
彈性權重合併 (EWC) 有什麼作用?
EWC 添加了懲罰(使用 Fisher 資訊),錨定對舊任務重要的權重,從而減少遺忘。
基於重播的方法如何對抗遺忘?
重播將過去的範例混合到新的批次中,因此梯度反映了新舊任務,近似原始聯合資料。
梯度情景記憶(GEM)如何在學習新任務時限制梯度更新?
GEM 項目使用情境記憶損失進行更新,因此局部一階近似不會增加先前任務範例的損失。此約束基於局部線性化,並不能保證在每個有限步驟之後實際損失永遠不會增加。
為什麼對新任務進行天真的微調會導致遺忘?
無約束的梯度更新將共享權重重寫為新的最優值,放棄了對先前任務有利的區域。