ቅድመ ቅጥያ ማስተካከያ መመሪያ

አጠቃላይ እይታ

It lets you customize giant models for new tasks while updating less than 1% of parameters.

ጥልቅ ዳይቭ

በ2021 በስታንፎርድ ተመራማሪዎች ሊ እና ሊያንግ ያስተዋወቁት ቅድመ ቅጥያ፣ ቀድሞ የሰለጠነ ትራንስፎርመር ክብደቱን ሳይነካ ያስተካክላል። ሁሉንም መመዘኛዎች በደንብ ከማስተካከል ይልቅ በእያንዳንዱ የትኩረት ሽፋን ላይ ባሉ ቁልፎች እና እሴቶች ላይ ሊሰለጥኑ የሚችሉ 'ምናባዊ ቶከኖች' (ቅድመ-ቅጥያው) ቅደም ተከተል ያስዘጋጃል። የቀዘቀዘው ሞዴል ይህን ቅድመ-ቅጥያ ልክ እንደ ትክክለኛ አውድ ነው የሚከታተለው፣ ባህሪውን ወደ ዒላማ ተግባር ይመራል። ቅድመ ቅጥያ ቬክተሮች ብቻ ስለሚማሩ፣ ከሙሉ ሞዴል ቅጂ ይልቅ በአንድ ተግባር አንድ ትንሽ ቅድመ ቅጥያ ማከማቸት ይችላሉ። ይህ ብዙ ስራዎችን ማገልገል ርካሽ ያደርገዋል እና የማከማቻ ፍንዳታን ሙሉ ለሙሉ ማስተካከልን ያስወግዳል። በተለይም እንደ ሰንጠረዥ-ወደ-ጽሑፍ እና ማጠቃለያ ባሉ የማመንጨት ስራዎች ላይ በጥሩ ሁኔታ ይሰራል፣ ብዙ ጊዜ በከፍተኛ የውሂብ ቅንጅቶች ውስጥ ሙሉ ቅንጅቶችን በማዛመድ።

ቴክኒካዊ ግንዛቤ

ልክ እንደ ፈጣን ማስተካከያ፣ በግብአት መክተት ንብርብር ላይ ቬክተርን ብቻ እንደሚጨምር፣ ቅድመ ቅጥያ ማስተካከያ ሊሰለጥን የሚችል ቁልፍ/ዋጋ ቬክተር ወደ እያንዳንዱ የትራንስፎርመር ንብርብር ራስን ትኩረት ያስገባል። ስልጠናን ለማረጋጋት፣ ቅድመ ቅጥያው የሚመነጨው በቀጥታ ከተመቻቸ ሳይሆን በትንሽ ምግብ አስተላላፊ አውታረመረብ (reparameterization trick) ነው። ያ አውታረ መረብ ከስልጠና በኋላ ይጣላል፣ የተማሩትን ቅድመ ቅጥያ ማትሪክስ ብቻ ይተዋል። እነዚህ ቅድመ-ቅጥያ መለኪያዎች ብቻ ቀስቶችን ይቀበላሉ - አከርካሪው በሙሉ እንደ በረዶ ይቆያል።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የቅድመ-ቅጥያ ማስተካከያ የወደፊት

ቅድመ ቅጥያ ማስተካከያ ፓራሜተር ቆጣቢ ጥሩ ማስተካከያ (PEFT) ሞገድን ለማስጀመር ረድቷል እና እንደ Hugging Face PEFT ባሉ ቤተ-መጻሕፍት ውስጥ የግንባታ ቁሳቁስ ሆኖ ይቆያል። የመሠረት ሞዴሎች ወደ መቶ ቢሊዮን መለኪያዎች እያደጉ ሲሄዱ፣ እንደ ቅድመ ቅጥያ ያሉ ቀላል ክብደት ያላቸው አስማሚዎች ለብዙ ተከራይ አገልግሎት እና በመሣሪያ ላይ ግላዊነትን ማላበስ ይበልጥ ማራኪ ናቸው። ቅድመ ቅጥያዎችን ከLoRA-ቅጥ ዝቅተኛ ደረጃ ዝመናዎች ጋር የሚያዋህዱ ቀጣይ ድብልቅ አቀራረቦችን ይጠብቁ እና አጠቃላይ ሞዴሎችን ሳያሰለጥኑ ዘይቤን፣ ሰውን እና የደህንነት ባህሪን በመቆጣጠር እያደገ ነው።

የእውነተኛ-ዓለም አተገባበር

በWebNLG ዳታ ስብስብ ላይ ትንሽ ቅድመ ቅጥያ በማሰልጠን አንድ የቀዘቀዘ GPT-2 የጀርባ አጥንትን ከጠረጴዛ ወደ ጽሑፍ ትውልድ ማስተካከል

ከአንድ የጋራ ሞዴል በደርዘን የሚቆጠሩ ደንበኛ-ተኮር የማጠቃለያ ቅጦችን ማገልገል፣ እያንዳንዱም እንደ ሊለዋወጥ የሚችል ቅድመ ቅጥያ ፋይል።

የመሠረት ክብደቶችን ደግመን ሳትለማመድ የቋንቋ ሞዴል ቃና ወይም ስብዕና ለቻትቦት መምራት

እንደ ህጋዊ ወይም የህክምና ጽሁፍ ማመንጨት ያለ ዝቅተኛ-ውሂብ ጎራ መላመድ፣ ሙሉ ለሙሉ ማስተካከል ከአቅም በላይ ይሆናል።

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Prefix Tuning quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ውድቅ የተደረገ ናሙና ጥሩ-ማስተካከል

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Prefix Tuning?

ቅድመ ቅጥያ ማስተካከያ ለእያንዳንዱ ንብርብር ግብአት የተዘጋጁ አነስተኛ ተከታታይ ቬክተሮችን በማሰልጠን የቀዘቀዙትን የቋንቋ ሞዴል ለማስማማት መለኪያ ቆጣቢ መንገድ ነው። ከ1% ያነሱ መለኪያዎችን እያዘመኑ ግዙፍ ሞዴሎችን ለአዳዲስ ስራዎች እንዲያበጁ ያስችልዎታል።

ቅድመ ቅጥያ ማስተካከያ በትክክል ምን ያሠለጥናል?

የቅድመ-ቅጥያ ማስተካከያ የጀርባ አጥንትን ያቀዘቅዛል እና አነስተኛ ተከታታይ ቅድመ ቅጥያ ቬክተሮችን ብቻ ይማራል, ይህም ፓራሜትር ቆጣቢ ያደርገዋል.

ቅድመ ቅጥያ ቬክተሮች የት ነው የተወጉት?

ቅድመ ቅጥያ ማስተካከያ የሚሰለጥኑ ቁልፍ/ዋጋ ቬክተሮች በእያንዳንዱ ትራንስፎርመር ንብርብር በራስ ትኩረት እንጂ በመግቢያው ላይ ብቻ አይደለም።

ቅድመ ቅጥያ ማስተካከያ ማን አስተዋወቀ እና መቼ ነው?

ቅድመ ቅጥያ ማስተካከያ በ Xiang Lisa Li እና Percy Liang በስታንፎርድ በ2021 ቀርቧል።

ለምንድነው ቅድመ ቅጥያ ማስተካከል ብዙ ስራዎችን ለማገልገል ማራኪ የሆነው?

ትንሽ ቅድመ ቅጥያ ብቻ ተግባር ላይ የተመሰረተ ስለሆነ ሙሉውን ሞዴል ከማባዛት ይልቅ በአንድ ተግባር ውስጥ አንድ ትንሽ ፋይል ያከማቻሉ።

የቅድመ-ቅጥያ ስልጠናን ለማረጋጋት ብዙውን ጊዜ ምን ዓይነት ዘዴ ይጠቀማል?

ትንሽ MLP ለመረጋጋት ስልጠና በሚሰጥበት ጊዜ ቅድመ ቅጥያውን ያመነጫል, ከዚያም ይጣላል, የተማረውን ቅድመ ቅጥያ ማትሪክስ ብቻ ይተዋል.