Kuendelea Kujifunza na Kusahau Msiba
Kuendelea kujifunza ni lengo la kufunza AI juu ya mtiririko wa kazi mpya kwa wakati bila kufuta kile inachojua tayari.
Muhtasari
Its central obstacle is catastrophic forgetting: when a neural network learns a new task, gradient updates overwrite the weights that encoded earlier tasks, and old skills collapse.
Dive ya kina
Mitandao ya kawaida ya neva huchukulia data yote inapatikana kwa wakati mmoja. Katika ulimwengu halisi, data hufika kwa kufuatana, na upangaji mzuri wa majukumu mapya bila kujua husababisha kusahaulika kwa janga - utendaji kwenye majukumu ya awali huporomoka kwa sababu uzani ulioshirikiwa huandikwa upya. Kujifunza mara kwa mara kunalenga kusawazisha uthabiti (kuhifadhi maarifa ya zamani) dhidi ya kinamu (kunyonya maarifa mapya), tatizo la kawaida la uthabiti-plastiki. Familia tatu kuu za suluhu zipo: mbinu za urekebishaji kama vile Ujumuishaji wa Uzito wa Elastic ambao huadhibu mabadiliko kwa uzani unaoonekana kuwa muhimu kwa kazi za zamani; rudia mbinu zinazohifadhi au kutoa sampuli kutoka kwa kazi zilizopita na kuziingilia wakati wa mafunzo; na mbinu za usanifu zinazotenga vigezo au moduli mpya kwa kila kazi. Hakuna mbinu moja inayoisuluhisha kikamilifu, na tathmini hujumuisha mipangilio ya kazi-, kikoa na ya nyongeza ya darasa.
Ufahamu wa Kiufundi
Kusahaulika kwa janga hutokea kwa sababu mteremko wa upinde rangi kwenye kazi mpya husogeza uzani ulioshirikiwa kuelekea kiwango bora kipya bila kikwazo cha kukaa karibu na maeneo yanayofaa kwa kazi za zamani. Ujumuishaji wa Uzito wa Elastic hukadiria umuhimu wa kila uzani (kupitia matriki ya maelezo ya Fisher) na kuongeza adhabu ya quadratic ambayo huweka uzito muhimu karibu na maadili yao ya zamani. Cheza tena hukadiria usambazaji wa pamoja wa asili kwa kuchanganya mifano ya zamani iliyohifadhiwa au iliyoundwa katika vikundi vipya, kwa hivyo gradient huakisi kazi za zamani na mpya, na hivyo kupunguza uandishi wa uharibifu.
Athari za kimkakati
Maamuzi ya wazi zaidi
Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
Cost and budget
Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
Timu na mtiririko wa kazi
Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Mustakabali wa Kuendelea Kujifunza na Kusahau Msiba
Kuendelea kujifunza kunazidi kuwa muhimu kwa kuweka miundo mikubwa ya kisasa bila mafunzo kamili na ya gharama kubwa. Utafiti unasukuma kuelekea masasisho ya kila mara ya ufaafu wa vigezo (adapta, moduli za LoRA zilizoongezwa kwa kila kazi), uchezaji bora wa marudio kwa kutumia miundo zalishaji, na mbinu zinazosasisha maarifa katika miundo msingi huku ikiepuka kusahau na kuteleza kusikotakikana. Tarajia viungo vikali zaidi vya mawakala wa kudumu ambao hujifunza uchezaji tena kwenye kifaa, kuhifadhi faragha ambao huepuka kuhifadhi data ghafi, na vigezo vinavyoakisi vyema mitiririko ya data halisi, isiyosimama badala ya mipaka ya kazi iliyo nadhifu.
Utekelezaji wa Ulimwengu Halisi
Kiainishi cha picha kilichotumwa ambacho lazima kijifunze aina mpya za bidhaa kila mwezi bila kusahau za awali.
Uwekaji mapendeleo kwenye kifaa (kibodi au kisaidia sauti) ambacho hubadilika kulingana na mtumiaji baada ya muda bila kupoteza usahihi wa jumla.
Roboti ambazo hupata ujuzi mpya wa kudanganya kwa mpangilio huku zikihifadhi zilizobobea hapo awali.
Kusasisha muundo wa lugha na ukweli mpya au vikoa kwa kutumia adapta ili uwezo wa awali uhifadhiwe.
Hatari & Walinzi
Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Ramani ya Utekelezaji
Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
Hati ambapo Kuendelea Kujifunza na Kusahau kwa Maafa kunasaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Continual Learning and Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Janga la Kusahau
Maswali yanayoulizwa mara kwa mara
What is Continual Learning and Catastrophic Forgetting?
Kuendelea kujifunza ni lengo la kufunza AI juu ya mtiririko wa kazi mpya kwa wakati bila kufuta kile inachojua tayari. Kikwazo chake kikuu ni kusahaulika kwa janga: mtandao wa neva unapojifunza kazi mpya, masasisho ya upinde rangi yanabatilisha uzani ambao ulisimba kazi za awali, na ujuzi wa zamani huporomoka.
'Kusahau kwa janga' ni nini?
Usahaulifu mbaya zaidi ni upotezaji mkubwa wa utendakazi wa kazi ya zamani wakati uzani ulioshirikiwa wa mtandao unafutwa wakati wa kujifunza kitu kipya.
Je, Ujumuishaji wa Uzito wa Elastic (EWC) hufanya nini?
EWC inaongeza adhabu (kwa kutumia maelezo ya Fisher) ambayo huimarisha uzani unaochukuliwa kuwa muhimu kwa kazi za zamani, na hivyo kupunguza kusahaulika.
Je, mbinu za uchezaji wa marudio hupambana vipi na kusahau?
Cheza tena huchanganya mifano ya zamani katika bechi mpya ili viwango vya juu viakisi kazi za zamani na mpya, zikikaribia data asili ya pamoja.
Ambayo SI mojawapo ya familia kuu tatu za mbinu endelevu za kujifunza?
Familia kuu tatu ni kuhalalisha, kucheza tena, na mbinu za usanifu; compression si mmoja wao.
Kwa nini urekebishaji mzuri wa kutojua juu ya kazi mpya husababisha kusahaulika?
Masasisho ya upinde rangi yasiyozuiliwa huandika upya uzani ulioshirikiwa kuelekea bora zaidi, ukiacha maeneo ambayo yalikuwa mazuri kwa kazi za awali.