Folyamatos tanulás és katasztrofális felejtés
A folyamatos tanulás célja, hogy a mesterséges intelligencia egy sor új feladatra oktassa az idő múlásával anélkül, hogy törölné azt, amit már tud.
Áttekintés
Its central obstacle is catastrophic forgetting: when a neural network learns a new task, gradient updates overwrite the weights that encoded earlier tasks, and old skills collapse.
Mély merülés
A szabványos neurális hálózatok feltételezik, hogy minden adat egyszerre elérhető. A való világban az adatok egymás után érkeznek, és az új feladatok naiv finomhangolása katasztrofális felejtést okoz – a korábbi feladatok teljesítménye zuhan, mert a megosztott súlyok átírásra kerülnek. A folyamatos tanulás a stabilitás (régi tudás megtartása) és a plaszticitás (új tudás befogadása), a klasszikus stabilitás-plaszticitás dilemma egyensúlyára törekszik. A megoldásoknak három fő családja létezik: a szabályosítási módszerek, mint például az Elastic Weight Consolidation, amelyek büntetik a régi feladatokhoz fontosnak ítélt súlyok megváltoztatását; visszajátszási módszerek, amelyek mintákat tárolnak vagy generálnak múltbeli feladatokból, és beillesztik azokat a képzés során; és olyan architekturális módszerek, amelyek feladatonként új paramétereket vagy modulokat rendelnek hozzá. Egyetlen módszer sem oldja meg teljesen, és az értékelés a feladat-, tartomány- és osztály-növekményes beállításokat öleli fel.
Technikai betekintés
Katasztrofális feledés merül fel, mert az új feladat gradiens süllyedése egy új optimum felé mozgatja a megosztott súlyokat anélkül, hogy a régi feladatokra alkalmas régiók közelében maradnának. Az Elastic Weight Consolidation megbecsüli az egyes súlyok fontosságát (a Fisher információs mátrixon keresztül), és hozzáad egy négyzetes büntetést, amely a fontos súlyokat a régi értékek közelében rögzíti. Az újrajátszás közelíti az eredeti együttes eloszlást a tárolt vagy generált régi példák új kötegekbe keverésével, így a színátmenetek a régi és az új feladatokat egyaránt tükrözik, csökkentve a destruktív felülírást.
Stratégiai hatás
Tisztább döntések
Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
Költség és költségvetés
Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
Csapat és munkafolyamat
A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.
A folyamatos tanulás és a katasztrofális felejtés jövője
A folyamatos tanulás egyre kritikusabb a nagy modellek naprakészen tartása érdekében teljes, költséges átképzés nélkül. A kutatás a paraméter-hatékony folyamatos frissítések (feladatonként hozzáadott adapterek, LoRA-modulok), a generatív modellek segítségével történő jobb újrajátszás és az alapmodellek ismereteit frissítő módszerek felé törekszik, miközben elkerüli a felejtést és a nem kívánt sodródást. Szorosabb kapcsolatokra számíthat az egész életen át tartó ügynökökhöz, akik az eszközön tanulnak, a magánélet védelmét megőrző újrajátszást, amely elkerüli a nyers adatok tárolását, és a benchmarkokat, amelyek jobban tükrözik a valósághű, nem helyhez kötött adatfolyamokat, nem pedig a letisztult feladathatárokat.
Valós megvalósítás
Egy telepített képosztályozó, amelynek minden hónapban új termékkategóriákat kell megtanulnia, anélkül, hogy elfelejtené a korábbiakat.
Az eszközön belüli személyre szabás (billentyűzet vagy hangasszisztens), amely idővel alkalmazkodik a felhasználóhoz anélkül, hogy elveszítené az általános pontosságot.
Robotok, amelyek egymás után sajátítanak el új manipulációs készségeket, miközben megtartják a korábban elsajátítottakat.
Nyelvi modell frissítése új tényekkel vagy tartományokkal adapterek segítségével, hogy a korábbi képességek megmaradjanak.
Kockázatok és védőkorlátok
A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.
Végrehajtási ütemterv
Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
Dokumentálja, hol segít a folyamatos tanulás és a katasztrofális felejtés, és hol jobbak az egyszerűbb módszerek.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Continual Learning and Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Katasztrofális felejtés
Gyakran ismételt kérdések
What is Continual Learning and Catastrophic Forgetting?
A folyamatos tanulás célja, hogy a mesterséges intelligencia egy sor új feladatra oktassa az idő múlásával anélkül, hogy törölné azt, amit már tud. Központi akadálya a katasztrofális felejtés: amikor egy neurális hálózat megtanul egy új feladatot, a gradiensfrissítések felülírják a korábbi feladatokat kódoló súlyokat, és a régi készségek összeomlanak.
Mi az a „katasztrofális felejtés”?
A katasztrofális felejtés a régi feladatok teljesítményének meredek elvesztése, amikor a hálózat megosztott súlyait felülírják, miközben valami újat tanul.
Mit csinál a rugalmas súlykonszolidáció (EWC)?
Az EWC egy büntetést ad hozzá (Fisher információk felhasználásával), amely rögzíti a régi feladatokhoz fontosnak ítélt súlyokat, csökkentve a felejtést.
Hogyan küzdenek a visszajátszáson alapuló módszerek a felejtés ellen?
A Replay a korábbi példákat új kötegekké keveri, így a színátmenetek a régi és az új feladatokat egyaránt tükrözik, megközelítve az eredeti egyesített adatokat.
Melyik NEM tartozik a folyamatos tanulási módszerek három fő családjába?
A három fő család a rendszeresítés, az újrajátszás és az építészeti módszerek; a tömörítés nem tartozik ezek közé.
Miért okoz felejtést egy új feladat naiv finomhangolása?
A korlátlan színátmenet-frissítések átírják a megosztott súlyokat az új optimálisra, elhagyva azokat a régiókat, amelyek alkalmasak voltak az előző feladatok elvégzésére.