基礎知識指南

持續學習和災難性遺忘

持續學習透過一系列任務或資料流更新模型,同時嘗試保留有用的先前功能。

聆聽此指南AI 語音敘述 · ~1 min

本頁1 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 持續學習與災難性遺忘的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

災難性遺忘是一種常見的失敗,學習新任務會降低早期的表現。

深入探討

EWC 使用基於 Fisher 資訊的正則化器來阻止對先前任務重要的參數進行更改。 GEM 使用情境範例來約束梯度更新;它的保證涉及先前任務損失的局部線性近似,因此實際的有限更新仍然可以改變效能。 iCaRL 儲存樣本,透過聚集程序選擇代表,並使用每類平均特徵進行分類。重播方法重新審視保留的範例;這些方法具有不同的記憶體、隱私和計算權衡。穩定性與可塑性的權衡描述了保持記憶與學習新任務之間的平衡。

現實世界的實施

每次更新後評估新舊任務。

在資料政策允許的情況下使用重播範例。

將 EWC 等正則化方法與微調進行比較。

記錄任務順序和記憶體預算。

持續學習與災難性遺忘的未來

持續學習的結果取決於任務序列、模型、資料存取和評估協議。報告新任務學習和舊任務保留。

付諸實踐

為什麼這很重要

  • 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
  • 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
  • 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。

留意

  • 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
  • 基準測試可能看起來很強大,但實際效能卻參差不齊。
  • 忽視數據品質和評估計劃通常會產生脆弱的結果。

後續步驟

  1. 從您需要的結果的簡單語言定義開始。
  2. 在測試之前選擇一種成功指標和一種失敗條件。
  3. 使用代表性資料運行小型試點,而不是完善的演示集。
  4. 記錄持續學習和災難性遺忘在哪些方面有幫助,以及哪些更簡單的方法更好。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加持續學習和災難性遺忘測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是持續學習和災難性遺忘?

持續學習透過一系列任務或資料流更新模型,同時嘗試保留有用的先前功能。災難性遺忘是一種常見的失敗,學習新任務會降低早期的表現。

什麼是「災難性遺忘」?

災難性遺忘是指當網路的共享權重在學習新事物時被覆蓋時,舊任務效能的急劇下降。

彈性權重合併 (EWC) 有什麼作用?

EWC 添加了懲罰(使用 Fisher 資訊),錨定對舊任務重要的權重,從而減少遺忘。

基於重播的方法如何對抗遺忘?

重播將過去的範例混合到新的批次中,因此梯度反映了新舊任務,近似原始聯合資料。

梯度情景記憶(GEM)如何在學習新任務時限制梯度更新?

GEM 項目使用情境記憶損失進行更新,因此局部一階近似不會增加先前任務範例的損失。此約束基於局部線性化,並不能保證在每個有限步驟之後實際損失永遠不會增加。

為什麼對新任務進行天真的微調會導致遺忘?

無約束的梯度更新將共享權重重寫為新的最優值,放棄了對先前任務有利的區域。