አስከፊ የመርሳት መመሪያ

አጠቃላይ እይታ

It is a central obstacle to building AI that learns continually without retraining from scratch.

ጥልቅ ዳይቭ

የነርቭ ኔትወርኮች እውቀትን በጋራ ክብደት ያከማቻሉ። ሞዴልን በአዲስ ተግባር ላይ ሲያሰለጥኑ፣ የግራዲየንት ማሻሻያ የቀደሙ ክህሎቶችን ያስቀመጡትን ግቤቶች ይተካዋል፣ ስለዚህ የድሮ አፈጻጸም ሊወድቅ ይችላል። ይህ አስከፊ መርሳት ነው፣ እንዲሁም አስከፊ ጣልቃገብነት ተብሎ የሚጠራው፣ በመጀመሪያ በ 1989 በ McCloskey እና Cohen የተዘገበው። ይህ በተከታታይ ወይም ቀጣይነት ያለው ትምህርት በጣም አጣዳፊ ነው፣ ሁሉም በአንድ ላይ ከመደባለቅ ይልቅ መረጃው በደረጃ ይደርሳል። ለምሳሌ ቻትቦትን በህጋዊ ፅሁፍ ላይ በደንብ ማስተካከል አጠቃላይ የንግግር ችሎታውን ሊያሳጣው ይችላል። የመደበኛ ብሩት ሃይል መጠገኛ ሁሉንም ስራዎች በጋራ እንደገና ማሰልጠን ነው፣ ነገር ግን ይህ ውድ ነው እና አሁንም የድሮው ውሂብ እንዳለዎት ይገምታል። ተመራማሪዎች ይልቁንስ አስፈላጊ ክብደቶችን የሚከላከሉ፣ ያለፉ ምሳሌዎችን የሚደግሙ ወይም ተግባር-ተኮር መለኪያዎችን የሚያክሉ ቴክኒኮችን ይጠቀማሉ፣ ይህም ሁሉም ሞዴሎች ሰዎች እንደሚያደርጉት እውቀት እንዲያከማቹ ለማድረግ ነው።

ቴክኒካዊ ግንዛቤ

መርሳት የሚከሰተው ተመሳሳዩ ክብደቶች በተግባሮች ላይ እንደገና ጥቅም ላይ ስለሚውሉ እና በአዳዲስ መረጃዎች ላይ ያልተገደበ ቀስ በቀስ መውረድ እነሱን በነፃ ስለሚያንቀሳቅሳቸው ነው። ማቃለያዎች የላስቲክ ክብደት ማጠናከሪያን ያካትታሉ፣ ይህም ለአሮጌ ተግባራት አስፈላጊ ናቸው ተብለው በሚታሰቡ መለኪያዎች ላይ የሚደረጉ ለውጦችን የሚቀንስ ቅጣት ይጨምራል (በአሳ ማጥመጃ መረጃ የሚገመተው)። ሌሎች አቀራረቦች ልምምድ ወይም የልምድ ድጋሚ መጫወት (የተከማቹ ወይም የተፈጠሩ የቆዩ ምሳሌዎችን መቀላቀል) እና እንደ አስማሚዎች ወይም ሎአርኤ ያሉ የመነሻ ሞዴልን የሚያቆሙ እና ትናንሽ አዳዲስ ሞጁሎችን የሚጨምሩ የመለኪያ ዘዴዎች ናቸው።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የአደጋው የመርሳት የወደፊት ዕጣ

ሞዴሎች ከአንድ-ምት ስልጠና ወደ የዕድሜ ልክ፣ በቀጣይነት የተሻሻሉ ስርዓቶች ሲሄዱ፣ መርሳትን መቆጣጠር አስፈላጊ ይሆናል። እንደ LoRA አስማሚዎች ያሉ ፓራሜትር ቀልጣፋ ዘዴዎች ቡድኖች የመሠረት ሞዴሉን ሳይረብሹ ክህሎቶችን እንዲጨምሩ ያስችላቸዋል, እና መልሶ ማግኘት የተጨመሩ ስርዓቶች ከክብደቱ ይልቅ አዲስ እውቀትን በውጫዊ መደብር ውስጥ በማስቀመጥ ችግሩን ወደ ጎን ያደርጉታል. ቀጣይነት ያለው የመማር ማመሳከሪያዎች፣ ሞዱላር አርክቴክቸር እና በአእምሮ አነሳሽነት የማጠናከሪያ ቴክኒኮች እንዲበስሉ ይጠብቁን፣ ቀድሞውንም የሚያውቁትን በአስተማማኝ ሁኔታ በመያዝ በአዲስ መረጃ ወደሚዘመኑ ሞዴሎች ይወስደናል።

የእውነተኛ-ዓለም አተገባበር

በሕክምና ጽሁፍ ላይ በደንብ የተስተካከለ አጠቃላይ የቻትቦት ንግግሮች ቅልጥፍናን ያጣል።

የላስቲክ ክብደት ማጠናከሪያ ጨዋታ የሚጫወት ወኪል አሮጌ ጨዋታዎችን ሳይረሳ አዲስ የአታሪ ጨዋታዎችን እንዲማር ያስችለዋል።

የቀዘቀዘውን የመሠረት ሞዴል ችሎታዎች ሳይበላሹ ሲተዉ ቡድኖች አዲስ የጎራ ክህሎት ለመጨመር LoRA አስማሚዎችን ይጠቀማሉ።

የድጋሚ አጫውት ልምድ ያለፉ ምሳሌዎችን ያከማቻል እና የድሮ አፈፃፀምን ለመጠበቅ በአዲሱ ስልጠና ወቅት ይተዋቸዋል።

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Catastrophic Forgetting quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ቀጣይነት ያለው ትምህርት እና አስከፊ መርሳት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Catastrophic Forgetting?

አስከፊ መርሳት ማለት የነርቭ ኔትወርክ አዲስ ተግባር ሲያውቅ እና ቀድሞውንም የተካነባቸውን ተግባራት የመፈጸም ችሎታውን በድንገት ሲያጣ ነው። ከባዶ ሳይሰለጥን ያለማቋረጥ የሚማር AIን ለመገንባት ማዕከላዊ እንቅፋት ነው።

አደገኛ መርሳት ምንድን ነው?

አውዳሚ መርሳት ማለት ኔትዎርክ በአዲስ ስራ ላይ ሲሰለጥን የድሮ አቅምን በድንገት ማጣት ነው፣ምክንያቱም የጋራ ክብደት ስለሚፃፍ።

በነርቭ አውታሮች ውስጥ አስከፊ መርሳት ለምን ይከሰታል?

እውቀት በጋራ መመዘኛዎች ውስጥ ይኖራል፣ ስለዚህ በአዲስ መረጃ ላይ ማሰልጠን እነዚያን ተመሳሳይ ክብደቶች ይቀይራል እና ቀደም ብሎ መማርን ያስወግዳል።

የ Elastic Weight Consolidation (EWC) መርሳትን ለመቀነስ ምን ያደርጋል?

EWC በአሳ ማጥመጃ መረጃ የሚገመተው ለአሮጌ ተግባራት አስፈላጊ ናቸው ወደሚባሉት መለኪያዎች ዝማኔዎችን የሚያዘገይ የመደበኛነት ቅጣትን ይጨምራል።

ልምድ እንደገና መጫወት (ልምምድ) መርሳትን እንዴት ይዋጋል?

አዳዲስ ተግባራትን እየተማርክ ያለፉት ምሳሌዎች (የተከማቸ ወይም የመነጨ) ልምምዶች ይደባለቃሉ።

ለምንድነው LoRA አስማሚዎች አስከፊ መርሳትን ለማስወገድ ጠቃሚ የሆኑት?

LoRA የመሠረት ሞዴሉን በረዶ ያደርገዋል እና አነስተኛ ተጨማሪ መለኪያዎችን ይማራል, ስለዚህ አዳዲስ ክህሎቶች ያሉትን ችሎታዎች አይረብሹም.