СледваСледващо ръководство
Катастрофално забравяне
Езиков AI
РЪКОВОДСТВО по основи
Непрекъснато учене и катастрофално забравяне
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities.
Чуйте това ръководствоAI-разказан · ~1 min
На тази страница1 минута четене
Преглед
Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
Дълбоко гмуркане
EWC uses a Fisher-information-based regularizer to discourage changes to parameters considered important for prior tasks. GEM uses episodic examples to constrain gradient updates; its guarantee concerns a local linear approximation to previous-task losses, so actual finite updates can still change performance. iCaRL stores exemplars, selects representatives with a herding procedure and classifies using per-class mean features. Replay methods revisit retained examples; these methods have different memory, privacy and compute tradeoffs. The stability-plasticity tradeoff describes balancing retention with learning new tasks.
Внедряване в реалния свят
Evaluate old and new tasks after each update.
Use replay samples when permitted by data policy.
Compare regularization methods such as EWC against fine-tuning.
Record task order and memory budget.
Бъдещето на непрекъснатото учене и катастрофалното забравяне
Continual-learning results depend on task sequence, model, data access, and evaluation protocol. Report both new-task learning and old-task retention.
Прилагайки го на практика
Защо има значение
- По-ясни решения. Помага ви да отделите ясните технически твърдения от маркетинговия език.
- Разходи и бюджет. Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
- Екип и работен процес. Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Внимавайте за
- Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
- Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
- Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Следващи стъпки
- Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
- Изберете един показател за успех и едно условие за неуспех преди тестване.
- Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
- Документирайте къде непрекъснатото учене и катастрофалното забравяне помагат и къде по-простите методи са по-добри.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Continual Learning and Catastrophic Forgetting quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е непрекъснато учене и катастрофално забравяне?
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities. Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
Какво е „катастрофално забравяне“?
Катастрофалното забравяне е рязката загуба на производителност на стара задача, когато споделените тегла на мрежата се презаписват, докато се учи нещо ново.
Какво прави еластичната консолидация на теглото (EWC)?
EWC добавя наказание (използвайки информация на Fisher), което закотвя тегла, считани за важни за стари задачи, намалявайки забравянето.
Как базираните на повторение методи се борят със забравянето?
Replay смесва минали примери в нови партиди, така че градиентите отразяват както стари, така и нови задачи, приближавайки оригиналните съвместни данни.
How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
GEM projects updates using episodic-memory losses so the local first-order approximation does not increase loss on previous-task examples. This constraint is based on a local linearization and does not guarantee actual loss will never rise after every finite step.
Защо наивната фина настройка на нова задача води до забравяне?
Неограничените градиентни актуализации пренаписват споделените тегла към новия оптимум, като изоставят региони, които са били добри за предишни задачи.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема