የቋንቋ AI መመሪያ

ጥቃቅን ትኩረት ቅጦች

አነስተኛ ትኩረት እያንዳንዱ ማስመሰያ ከሁሉም ይልቅ በጥንቃቄ የተመረጡ የሌሎችን ቶከኖች ብቻ እንዲከታተል በማድረግ ትራንስፎርመሮችን ርካሽ ያደርገዋል።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

This trades a little global reach for big savings in memory and compute on long sequences.

ጥልቅ ዳይቭ

ሙሉ እራስን ትኩረት መስጠት እያንዳንዱን ቶከን ከሌላው ማስመሰያ ጋር ያወዳድራል። ትንሽ ትኩረት ጥቅጥቅ ያለ ጥለትን በተዋቀረው ይተካዋል። የተለመዱ ንድፎች እያንዳንዱ ምልክት በአቅራቢያው ያሉትን ጎረቤቶች ብቻ የሚያይበት ተንሸራታች-መስኮት (አካባቢያዊ) ትኩረትን ያካትታል; የሩቅ አውድ በርካሽ ለመድረስ ወደፊት የሚዘልሉ የተራቀቁ ወይም የተስፋፉ ቅጦች; እና አለምአቀፍ ቶከኖች፣ ሁሉንም ነገር የሚከታተሉ እና ሁሉም ነገር የሚከታተል፣ የመረጃ ማዕከል ሆነው የሚሰሩ ጥቂት ልዩ ቦታዎች። እንደ ሎንግፎርመር፣ ቢግቢርድ እና ስፓርሴ ትራንስፎርመር ያሉ ሞዴሎች እነዚህን ያጣምሩታል ስለዚህም አጠቃላይ የግንኙነቶች ብዛት በአራት ደረጃ ሳይሆን በግምት በመስመር ያድጋል፣ ይህም በሺዎች እስከ በአስር ሺዎች የሚቆጠሩ ቶከኖችን አውድ ያስችለዋል።

ቴክኒካዊ ግንዛቤ

ከ N-by-N ሙሉ ትኩረት ማትሪክስ ይልቅ፣ ትንሽ ትኩረት የሚሰሉት የተመረጡ ግቤቶችን ብቻ ነው፣ ብዙውን ጊዜ የአካባቢያዊ መስኮት ህብረት እና ጥቂት የአለም ረድፎች እና አምዶች። ቢግቢርድ በዘፈቀደ፣ መስኮት እና አለምአቀፍ ግንኙነቶችን በማጣመር የሙሉ ትኩረትን የንድፈ ሃሳባዊ ገላጭነት እና ውስብስብነት ከኦ(N ስኩዌር) ወደ ኦ(N) በመቀነስ ላይ መሆኑን በሚገባ አረጋግጧል። ቀልጣፋ አስኳሎች ጭንብል የወጡትን ግቤቶችን ከማስላት እና ዜሮ ከማድረግ ይልቅ ሙሉ በሙሉ ይዘለላሉ።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የትንሽ ትኩረት ንድፎች የወደፊት

ትንሽ ትኩረት የረዥም አውድ ሞዴሊንግ ማዕከላዊ ሆኖ ይቆያል፣ ከጊዜ ወደ ጊዜ እንደ FlashAttention ካሉ ከተመቻቹ አስኳሎች ጋር ተጣምሮ እና ከተማረ ወይም ከተለዋዋጭ ቆጣቢነት ጋር በአንድ ግቤት ውስጥ የትኞቹን ቶከኖች መከታተል እንዳለበት ይመርጣል። የአውድ መስኮቶች ወደ ሚሊዮኖች የሚቆጠሩ ቶከኖች ሲዘረጉ፣ የተዳቀሉ ቁልል ጥቃቅን፣ ጥቅጥቅ ያሉ እና የግዛት-ቦታ ንብርብሮችን ይደባለቃሉ። በጣም ረጅም ግብዓቶችን የማንበብ ወጪን ለመቀጠል በሃርድዌር የሚያውቁ ስፔርሴስ ከርነሎች እና በማዘዋወር ላይ የተመሰረተ ትኩረት ይጠብቁ።

የእውነተኛ-ዓለም አተገባበር

ረጅም ጊዜ የቆየ ሙሉ ሳይንሳዊ ወረቀቶችን ወይም ህጋዊ ሰነዶችን ተንሸራታች-መስኮት እና አለምአቀፍ ትኩረትን በመጠቀም በአንድ ማለፊያ ማሰናዳት

የ BigBird የረጅም ሰነድ ጥያቄ ምላሽ እና የጂኖም ቅደም ተከተሎችን ከመስመር ልኬት ጋር አያያዝ

ሙሉ ትኩረት የጂፒዩ ማህደረ ትውስታን የሚያሟጥጥ የመጽሃፍ ርዝመት ጽሑፍን ማጠቃለል

ቁልፍ መረጃዎችን በሺዎች በሚቆጠሩ ቶከኖች ለመምራት የአለምአቀፍ መገናኛ ቶከኖችን የሚጠቀሙ ሰርስሮ ማውጣት እና ረጅም አውድ የውይይት ስርዓቶች

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

1

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

2

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

3

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

4

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Sparse Attention Patterns quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

አግድ-ስፓርስ እና ቤተኛ ስፓርስ ትኩረት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Sparse Attention Patterns?

አነስተኛ ትኩረት እያንዳንዱ ማስመሰያ ከሁሉም ይልቅ በጥንቃቄ የተመረጡ የሌሎችን ቶከኖች ብቻ እንዲከታተል በማድረግ ትራንስፎርመሮችን ርካሽ ያደርገዋል። ይህ በማህደረ ትውስታ ውስጥ ትልቅ ቁጠባ ለማግኘት እና ረጅም ቅደም ተከተሎችን ለማስላት ትንሽ ዓለም አቀፍ ተደራሽነት ይገበያያል።

ለምንድን ነው ሙሉ ራስን ትኩረት ለረጅም ቅደም ተከተሎች ውድ የሆነው?

ሙሉ ትኩረት እያንዳንዱን ቶከን ከሌላው ማስመሰያ ጋር ያወዳድራል፣ ይህም በጊዜ እና በማህደረ ትውስታ ዋጋ O(N squared) ይሰጣል።

ተንሸራታች-መስኮት (አካባቢያዊ) ትኩረት ምንድን ነው?

የአካባቢ ትኩረት የእያንዳንዱን ማስመሰያ እይታ በቋሚ ቶከኖች መስኮት ይገድባል፣ ወጪውን በእጅጉ ይቀንሳል።

በጥቂቱ ትኩረት ውስጥ የ'ግሎባል ቶከኖች' ዓላማ ምንድን ነው?

ጥቂት አለምአቀፍ ቶከኖች ከሁሉም ቦታዎች ጋር ይገናኛሉ፣ ይህም መረጃ በርካሽ በጠቅላላው ቅደም ተከተል እንዲፈስ ያስችለዋል።

የዘፈቀደ፣ መስኮት እና ዓለም አቀፋዊ ትኩረትን ማጣመር የሙሉ ትኩረት ገላጭነትን እንደሚያቆይ ያረጋገጠው የትኛው ሞዴል ነው?

ቢግቢርድ በጥቂቱ የሚታየው ጥለት ሁለንተናዊ የተከታታይ ተግባራት ግምታዊ ሲሆን በመጠኑም ቢሆን በመስመራዊ ሚዛን ነው።

በጥሩ ሁኔታ በተነደፈ ትንሽ ትኩረት ውስጥ የግንኙነቶች ብዛት እንዴት ይመዘናል?

ከአካባቢያዊ መስኮቶች እና ጥቂት አለምአቀፍ አገናኞች ጋር ግንኙነቶችን በመገደብ አጠቃላይ ግንኙነቶች በመስመር ላይ ያድጋሉ።

ተዛማጅ መመሪያዎች