Katastrofalne zapomnienie
Katastrofalne zapominanie ma miejsce wtedy, gdy sieć neuronowa uczy się nowego zadania i nagle traci zdolność do wykonywania zadań, które już opanowała.
Przegląd
It is a central obstacle to building AI that learns continually without retraining from scratch.
Głębokie nurkowanie
Sieci neuronowe przechowują wiedzę we wspólnych wagach. Kiedy trenujesz model pod kątem nowego zadania, aktualizacje gradientu zastępują te same parametry, które zakodowały wcześniejsze umiejętności, więc stara wydajność może się pogorszyć. Jest to katastrofalne zapominanie, zwane także katastrofalną ingerencją, udokumentowane po raz pierwszy przez McCloskeya i Cohena w 1989 roku. Jest to ostre w przypadku uczenia się sekwencyjnego lub ciągłego, gdzie dane docierają etapami, a nie wszystkie są mieszane razem. Na przykład dostrojenie chatbota w oparciu o tekst prawniczy może pogorszyć jego ogólne możliwości konwersacyjne. Standardową metodą brute-force jest ponowne przeszkolenie wszystkich zadań łącznie, ale jest to kosztowne i zakłada, że nadal masz stare dane. Zamiast tego badacze stosują techniki chroniące ważne wagi, odtwarzają przykłady z przeszłości lub dodają parametry specyficzne dla zadania, a wszystko to ma na celu umożliwienie modelom gromadzenia wiedzy w taki sam sposób, jak robią to ludzie.
Wgląd techniczny
Zapominanie ma miejsce, ponieważ te same wagi są ponownie wykorzystywane w różnych zadaniach, a nieograniczone opadanie gradientowe na nowych danych pozwala je swobodnie przenosić. Ograniczenia obejmują elastyczną konsolidację wagi, która dodaje karę spowalniającą zmiany parametrów uznawanych za ważne dla starych zadań (szacowane na podstawie informacji Fishera). Inne podejścia to próba lub powtórka doświadczenia (przeplatanie przechowywanych lub wygenerowanych starych przykładów) oraz metody izolacji parametrów, takie jak adaptery lub LoRA, które zamrażają model podstawowy i dodają nowe, małe moduły.
Wpływ strategiczny
Szybkość i skala
Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
Dostęp i zasięg
Rozszerza dostęp w różnych językach i stylach komunikacji.
Jaśniejsze decyzje
Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Przyszłość katastrofalnego zapomnienia
W miarę jak modele przechodzą od jednorazowego szkolenia do trwających całe życie, stale aktualizowanych systemów, kontrola zapominania staje się niezbędna. Metody wydajne pod względem parametrów, takie jak adaptery LoRA, umożliwiają zespołom dodawanie umiejętności bez zakłócania modelu podstawowego, a systemy wspomagane wyszukiwaniem pozwalają ominąć problem, przechowując nową wiedzę w magazynie zewnętrznym, a nie w wagach. Spodziewaj się, że wzorce uczenia się ciągłego, architektury modułowe i techniki konsolidacji inspirowane mózgiem dojrzeją, kierując nas w stronę modeli, które aktualizują się o świeże informacje, a jednocześnie niezawodnie zachowują to, co już wiedzą.
Implementacja w świecie rzeczywistym
Ogólny chatbot dostrojony w dużej mierze do tekstów medycznych traci płynność w swobodnej rozmowie.
Elastic Weight Consolidation pozwala agentowi gry uczyć się nowych gier Atari, nie zapominając o starych.
Zespoły używają adapterów LoRA, aby dodać nową umiejętność domeny, pozostawiając nienaruszone umiejętności zamrożonego modelu podstawowego.
Powtórka doświadczenia przechowuje przykłady z przeszłości i przeplata je podczas nowego szkolenia, aby zachować starą wydajność.
Zagrożenia i poręcze
Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Plan wdrożenia
Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Ciągłe uczenie się i katastrofalne zapominanie
Często zadawane pytania
What is Catastrophic Forgetting?
Katastrofalne zapominanie ma miejsce wtedy, gdy sieć neuronowa uczy się nowego zadania i nagle traci zdolność do wykonywania zadań, które już opanowała. Jest to główna przeszkoda w budowaniu sztucznej inteligencji, która uczy się nieustannie, bez konieczności przekwalifikowywania się od zera.
Czym jest katastrofalne zapominanie?
Katastrofalne zapominanie to nagła utrata starych możliwości, gdy sieć jest szkolona w zakresie nowego zadania, w wyniku nadpisania wspólnych wag.
Dlaczego w sieciach neuronowych dochodzi do katastrofalnego zapominania?
Wiedza opiera się na wspólnych parametrach, więc szkolenie na nowych danych przesuwa te same wagi i wymazuje wcześniejszą wiedzę.
W jaki sposób elastyczna konsolidacja ciężaru (EWC) pomaga ograniczyć zapominanie?
EWC dodaje karę za regularyzację, która spowalnia aktualizacje parametrów uznawanych za ważne dla starych zadań, szacowanych na podstawie informacji Fishera.
W jaki sposób doświadczenie powtórki (próby) pomaga w walce z zapominaniem?
Próby łączą się z przykładami z przeszłości (przechowywanymi lub generowanymi) podczas uczenia się nowych zadań, dzięki czemu wzmacniane są stare wykonania.
Dlaczego adaptery LoRA są przydatne w zapobieganiu katastrofalnemu zapominaniu?
LoRA utrzymuje model podstawowy w stanie zamrożonym i uczy się małych parametrów dodatków, dzięki czemu nowe umiejętności nie zakłócają istniejących umiejętności.