LegközelebbKövetkező útmutató
Katasztrofális felejtés
Nyelvi AI
Alapok ÚTMUTATÓ
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities.
Hallgassa meg ezt az útmutatótAI-narrált · ~1 min
Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
EWC uses a Fisher-information-based regularizer to discourage changes to parameters considered important for prior tasks. GEM uses episodic examples to constrain gradient updates; its guarantee concerns a local linear approximation to previous-task losses, so actual finite updates can still change performance. iCaRL stores exemplars, selects representatives with a herding procedure and classifies using per-class mean features. Replay methods revisit retained examples; these methods have different memory, privacy and compute tradeoffs. The stability-plasticity tradeoff describes balancing retention with learning new tasks.
Evaluate old and new tasks after each update.
Use replay samples when permitted by data policy.
Compare regularization methods such as EWC against fine-tuning.
Record task order and memory budget.
Continual-learning results depend on task sequence, model, data access, and evaluation protocol. Report both new-task learning and old-task retention.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities. Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
A katasztrofális felejtés a régi feladatok teljesítményének meredek elvesztése, amikor a hálózat megosztott súlyait felülírják, miközben valami újat tanul.
Az EWC egy büntetést ad hozzá (Fisher információk felhasználásával), amely rögzíti a régi feladatokhoz fontosnak ítélt súlyokat, csökkentve a felejtést.
A Replay a korábbi példákat új kötegekké keveri, így a színátmenetek a régi és az új feladatokat egyaránt tükrözik, megközelítve az eredeti egyesített adatokat.
GEM projects updates using episodic-memory losses so the local first-order approximation does not increase loss on previous-task examples. This constraint is based on a local linearization and does not guarantee actual loss will never rise after every finite step.
A korlátlan színátmenet-frissítések átírják a megosztott súlyokat az új optimálisra, elhagyva azokat a régiókat, amelyek alkalmasak voltak az előző feladatok elvégzésére.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Katasztrofális felejtés
Nyelvi AI