ሮታሪ አቀማመጥ መክተቻዎች
Rotary Position Embeddings (Rotary Position Embeddings) (Rotary Position Embeddings) (Rotary Position Embeddings) (Rotary Position Embeddings (RoPE)) መጠይቁን እና ቁልፍ ቬክተሮችን ከአቀማመጥ ጋር በተመጣጣኝ አንግል በማዞር በቅደም ተከተል የሚቀመጡበትን ኮድ ይመሰርታል።
አጠቃላይ እይታ
This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.
ጥልቅ ዳይቭ
ትራንስፎርመሮች አብሮ የተሰራ የሥርዓት ስሜት ስለሌላቸው እንደምንም የቦታ መረጃ መጨመር ያስፈልጋቸዋል። ቀደምት ሞዴሎች ቋሚ የ sinusoidal vectors ወይም የተማሩ የአቀማመጥ መክተቶችን ወደ ግብዓቶቹ አክለዋል። በ2021 በሱ እና ባልደረቦቹ የቀረበው RoPE የተለየ አካሄድ ይወስዳል፡ ቦታ ቬክተር ከመጨመር ይልቅ በጥያቄው ውስጥ ጥንድ ልኬቶችን እና ቁልፍ ቬክተሮችን ከቶከኑ አቀማመጥ ጋር በሚያድግ አንግል ያዞራል። ሞዴሉ የነጥብ ምርቱን በቦታ m እና በቦታ n ቁልፍ መካከል ያለውን ነጥብ ሲያሰላ ሒሳቡ ይሠራል ስለዚህ ውጤቱ የሚወሰነው በእነሱ አንጻራዊ ርቀት m ሲቀነስ n ነው። ይህ የእውነተኛ አንጻራዊ-አቀማመጥ ግንዛቤን ይሰጣል፣በቀልጣፋ የትኩረት ከርነሎች በጥሩ ሁኔታ ይጫወታል እና ትኩረትን ከርቀት ጋር ያለችግር ያበላሻል። RoPE አሁን በላማ፣ ሚስትራል፣ ኪዌን እና በጣም ዘመናዊ ክፍት ሞዴሎች ውስጥ ጥቅም ላይ ይውላል።
ቴክኒካዊ ግንዛቤ
RoPE የመክተት ልኬቶችን በጥንድ ይንከባከባል እና ለእያንዳንዱ ጥንድ 2D ሽክርክርን ይተገብራል ፣ የተለያዩ ጥንዶች በተለያዩ ድግግሞሽዎች ይሽከረከራሉ ፣ ልክ እንደ ብዙ ሰዓቶች እጆች በተለያዩ ፍጥነት። ምክንያቱም በቦታ መ መሽከርከር እና ከዚያም በቦታ በተሽከረከረ ነገር የነጥብ ምርት መውሰድ የማዕዘን ልዩነቱን ብቻ ስለሚተው፣ የትኩረት ውጤቶች አንጻራዊ አቀማመጥ ተግባራት ይሆናሉ። ከፍተኛ-ድግግሞሽ ጥንዶች ጥሩ የአካባቢ ቅደም ተከተል ይይዛሉ; ዝቅተኛ ድግግሞሽ ጥንዶች የረጅም ርቀት አቀማመጥ ይይዛሉ. በወሳኝ መልኩ፣ መጠይቆችን እና ቁልፎችን እንጂ እሴቶችን አያስተካክል።
ስልታዊ ተጽእኖ
ፍጥነት እና ልኬት
የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።
መድረስ እና መድረስ
በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።
ግልጽ ውሳኔዎች
አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።
የሮተሪ አቀማመጥ መክተቶች የወደፊት
ብዙ የቅርብ ጊዜ ስራዎች ሞዴል ከሰለጠነበት ጊዜ በላይ ሮፔን ወደ አውድ በመዘርጋት ላይ ያተኩራል። እንደ የአቀማመጥ interpolation፣ NTK-aware scaling እና YaRN ያሉ ቴክኒኮች የማዞሪያ ድግግሞሾችን ያስተካክላሉ ስለዚህ ሞዴል የሰለጠነ 4K ቶከኖች በብርሃን ማስተካከያ 32K ወይም ከዚያ በላይ ማስተናገድ ይችላል። RoPE ዋነኛ የቦታ እቅድ ሆኖ እንዲቆይ፣ በመሠረታዊ ድግግሞሹ ላይ ቀጣይ ማሻሻያዎችን እና በሚሊዮኖች የሚቆጠሩ ቶክ አውዶችን በማስፋት እና ከትኩረት ባህሪ ጋር እንዴት እንደሚገናኝ ማጥናትን ቀጥል።
የእውነተኛ-ዓለም አተገባበር
ለላማ፣ ሚስትራል እና ኩዌን ያለ የተለየ የቦታ መካተት የማስመሰያ ስሜታቸውን ሞዴል መስጠት
የአንድን ሞዴል ጥቅም ላይ የሚውል አውድ ከጥቂት ሺዎች ወደ አስር ሺዎች የሚቆጠሩ ቶከኖችን በ interpolation ወይም YaRN ማራዘም
የኮድ ሞዴሎች በቅንፎች፣ ተግባራት እና ማጣቀሻዎች መካከል በረጃጅም ፋይሎች መካከል ያለውን አንጻራዊ ርቀቶች እንዲከታተሉ ማገዝ
በጥያቄ እና በማስረጃ ጉዳዮች መካከል አንጻራዊ አቋም ሲኖር የረጅም ሰነድ ጥያቄን መደገፍ
አደጋዎች እና የጥበቃ መንገዶች
የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።
ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።
የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።
የትግበራ ፍኖተ ካርታ
ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።
ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።
ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።
የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
አሊቢ አቀማመጥ አድልዎ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Rotary Position Embeddings?
Rotary Position Embeddings (Rotary Position Embeddings) (Rotary Position Embeddings) (Rotary Position Embeddings) (Rotary Position Embeddings (RoPE)) መጠይቁን እና ቁልፍ ቬክተሮችን ከአቀማመጥ ጋር በተመጣጣኝ አንግል በማዞር በቅደም ተከተል የሚቀመጡበትን ኮድ ይመሰርታል። ይህ የሚያምር ብልሃት ትራንስፎርመሮች አንጻራዊ ርቀቶችን እንዲገነዘቡ እና በጸጋ ወደ ረጅም አውዶች እንዲራዘሙ ያስችላቸዋል።
RoPE የአቀማመጥ መረጃን ወደ ትራንስፎርመር እንዴት ያስገባል?
RoPE የተለየ የአቀማመጥ ቬክተር ከመጨመር ይልቅ መጠይቁን እና ቁልፍ ቬክተሮችን ከአቀማመጥ ጋር በተመጣጣኝ አንግል ያዞራል።
RoPE የትኞቹን የትኩረት ስሌት ክፍሎች ያስተካክላል?
RoPE ሽክርክሪቱን ወደ መጠይቁ እና ለቁልፍ ቬክተሮች ይተገብራል፣ ይህም የእሴት ቬክተሮች ሳይነኩ ይተዋቸዋል።
ለምንድነው የተለያዩ ልኬቶች ጥንዶች በRoPE ውስጥ በተለያየ ድግግሞሽ የሚሽከረከሩት?
ልክ እንደ የሰዓት እጆች በተለያየ ፍጥነት እንደሚሽከረከሩ፣ የተለያዩ ድግግሞሾች አንዳንድ ጥንዶች የአጭር ክልል ቅደም ተከተሎችን እና ሌሎች የረጅም ርቀት አቀማመጥን እንዲመሰክሩ ያስችላቸዋል።
እንደ የአቀማመጥ ጣልቃገብነት፣ ኤንቲኬን የሚያውቅ ልኬት እና ያአርኤን ያሉ ቴክኒኮች ግብ ምንድን ነው?
እነዚህ ዘዴዎች አንድ ሞዴል ከመጀመሪያው የስልጠና ርዝማኔ የበለጠ ረዘም ያለ አውድ ማስተናገድ እንዲችል የRoPEን የማዞሪያ ድግግሞሾችን እንደገና ያስተካክላሉ።