የቋንቋ AI መመሪያ

አሊቢ አቀማመጥ አድልዎ

ALiBi (ትኩረት ከሊኒያር አድልዎ) ያለ ባህላዊ አቀማመጥ ትራንስፎርመሮችን የቃላት ቅደም ተከተል ለመስጠት ብልህ መንገድ ነው።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

It lets a model trained on short text handle much longer inputs at inference time.

ጥልቅ ዳይቭ

ትራንስፎርመሮች ምንም አብሮ የተሰራ የቃላት ቅደም ተከተል ግንዛቤ ስለሌላቸው ቦታን ለመቀየሪያ መንገድ ያስፈልጋቸዋል። ክላሲክ አቀራረብ በቶከን ቬክተሮች ላይ የአቀማመጥ መክተትን ይጨምራል። በ2021 በፕሬስ፣ ስሚዝ እና ሉዊስ የተዋወቀው ALiBi እነዚያን ሙሉ በሙሉ ያስወጣቸዋል። በምትኩ፣ የትኩረት ነጥቦችን በቀጥታ ያጎላል፡ የመጠይቅ ማስመሰያ ቁልፍ ቶከንን ሲመለከት፣ ALiBi በመካከላቸው ካለው ርቀት ጋር ተመጣጣኝ የሆነ ቅጣትን ይቀንሳል። በጣም የተራራቁ ምልክቶች ትልቅ ቅጣት ያገኛሉ, ስለዚህ ሞዴሉ በተፈጥሮው በአቅራቢያው ያለውን አውድ ይመርጣል. እያንዳንዱ የትኩረት ጭንቅላት የራሱ የሆነ ቋሚ የቅጣት ዳገት ያገኛል፣ ስለዚህ አንዳንድ ራሶች በአካባቢው ሲመለከቱ ሌሎች ደግሞ የበለጠ ያያሉ። አድልዎ የርቀት ተግባር ስለሆነ፣ ALiBi በስልጠና ላይ ከሚታዩት በጣም ረዘም ላለ ጊዜ ቅደም ተከተሎችን በጸጋ ይለውጣል።

ቴክኒካዊ ግንዛቤ

ለጥያቄ በቦታ i እና በቦታ j ላይ፣ ALiBi m * (j - i) ወደ ጥሬ ትኩረት ነጥብ ከSoftmax በፊት ያክላል፣ m ራስ-ተኮር ቋሚ ነው (ዳገቶቹ እንደ 1/2፣ 1/4፣ 1/8) የጂኦሜትሪክ ቅደም ተከተል ይመሰርታሉ። በምክንያታዊ ትኩረት j ከ i ያነሰ ወይም እኩል ስለሆነ፣ ይህ ቃል ዜሮ ወይም አሉታዊ ነው፣ የሩቅ ምልክቶችን የሚቀጣ። ምንም የተማሩ መመዘኛዎች እና ምንም መክተቶች አልተጨመሩም፣ ስለዚህ ብቸኛው ትርፍ አስቀድሞ የተሰላ አድልዎ ማትሪክስ ነው።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የ ALiBi አቀማመጥ አድልዎ የወደፊት

ALiBi አንጻራዊ፣ ርቀትን መሰረት ያደረጉ አድሎአዊነት ለርዝመት አጠቃላይነት ፍፁም የቦታ መካተትን እንደሚመታ አረጋግጧል፣ እና ያ ሀሳብ አሁን በዘመናዊ የረጅም አውድ ንድፍ ውስጥ ዘልቋል። አንዳንድ የቅርብ ጊዜ ሞዴሎች በምትኩ ሮተሪ መክተቻዎችን (Rotary) ይመርጣሉ፣ ነገር ግን ALiBi ጽንፈኝነት በሚያስፈልግበት ጊዜ ታዋቂ ሆኖ ይቀጥላል እና እንደ BLOOM እና MPT ባሉ ሞዴሎች ውስጥ ጥቅም ላይ ውሏል። የርቀት አድሎአዊነትን ከRoPE ልኬት ጋር በማጣመር ቀጣይ ድብልቅ ሙከራን ይጠብቁ፣ ላብራቶሪዎች የአውድ መስኮቶችን ከባዶ ሳይሰለጥኑ በሚሊዮን የሚቆጠሩ ቶከኖች ሲገፉ።

የእውነተኛ-ዓለም አተገባበር

ቻትቦትን በ1,024-ቶከን ምሳሌዎች ላይ ማሰልጠን ግን በ 4,096 ቶከን ሰነዶች ላይ እንደገና ስልጠና ሳይሰጥ ማሰማራት፣ በALiBi Extrapolation ላይ በመመስረት።

ለቦታ አያያዝ አሊቢን የተቀበለ የBLOOM 176B ባለብዙ ቋንቋ ሞዴል።

የMosaicML MPT ሞዴሎች፣ በማጣቀሻነት ያልተገደበ የአውድ ርዝመት ውጤታማ በሆነ መልኩ ለማስተዋወቅ ALiBiን የተጠቀሙ።

የአምሳያው የመጀመሪያ የሥልጠና ርዝመት የሚበልጡ ረጅም የሕግ ውሎችን ማጠቃለል፣ በአቅራቢያ ያለ የአውድ አድሎአዊነት ትኩረትን ወጥነት ያለው ያደርገዋል።

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

1

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

2

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

3

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

4

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the ALiBi Position Bias quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ለዐውድ ማራዘሚያ የአቋም መጠላለፍ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is ALiBi Position Bias?

ALiBi (ትኩረት ከሊኒያር አድልዎ) ያለ ባህላዊ አቀማመጥ ትራንስፎርመሮችን የቃላት ቅደም ተከተል ለመስጠት ብልህ መንገድ ነው። በአጭር ጽሑፍ ላይ የሰለጠነ ሞዴል በመረጃ ጊዜ ብዙ ረጅም ግብአቶችን እንዲይዝ ያስችለዋል።

ALiBi ምን ማለት ነው?

ALiBi በትኩረት ውጤቶች ላይ ለሚጨምር የመስመር ቅጣት የተሰየመው ትኩረት ከመስመር ቢያሴ ጋር አጭር ነው።

ALiBi የሩቅ ምልክቶችን እንዴት ይቀጣል?

ALiBi ከጥያቄው-ቁልፍ ርቀት ጋር የሚመጣጠን እሴት ከትኩረት ነጥብ ይቀንሳል፣ስለዚህ የራቀ ቶከኖች ክብደታቸው ይቀንሳል።

የ ALiBi በጣም የተከበረ ተግባራዊ ጠቀሜታ ምንድነው?

አድልዎ በርቀት ላይ ብቻ ስለሚወሰን በአጭር ቅደም ተከተሎች የሰለጠኑ ሞዴሎች በመረጃ ጊዜ ብዙ ረዘም ያሉ ነገሮችን ማስተናገድ ይችላሉ።

በትኩረት ራሶች ላይ ካለው የመስመር አድልዎ የተለየ ምንድ ነው?

ALiBi ለእያንዳንዱ ጭንቅላት የተለየ፣ ቋሚ ተዳፋት (ለምሳሌ 1/2፣ 1/4፣ 1/8) ይመድባል፣ ስለዚህ የተለያዩ ራሶች በተለያዩ ክልሎች ይሳተፋሉ።

ከተለምዷዊ የአቀማመጥ መክተቻዎች ጋር ሲነጻጸር፣ ALiBi ስንት የተማሩ መለኪያዎችን ይጨምራል?

ALiBi ምንም አዲስ የተማሩ መለኪያዎችን አያስተዋውቅም; የጭንቅላት መወጣጫዎቹ አስቀድሞ የተወሰነ ቋሚዎች ናቸው።

ተዛማጅ መመሪያዎች