የYaRN አውድ መስኮት ልኬት መመሪያ

አጠቃላይ እይታ

It matters because it lets existing models handle much longer documents without retraining from scratch.

ጥልቅ ዳይቭ

አብዛኞቹ ዘመናዊ ኤል.ኤል.ኤም.ዎች በስልጠና ወቅት የአምሳያው ርዝመቱ እስከ ርዝመቱ ድረስ በጥሩ ሁኔታ የሚሰራውን የ Rotary Position Embeddings (RoPE) በመጠቀም የቃላት አቀማመጦችን ያመለክታሉ። በረዥም ቅደም ተከተል ይመግቡ እና ሞዴሉ ክፉኛ ይቀንሳል. YaRN ይህን የሚፈታው የRoPE የማዞሪያ ድግግሞሾችን ድግግሞሽ በሚያውቅ መንገድ እንደገና በማስተካከል ነው፡ ባለ ከፍተኛ ድግግሞሽ ልኬቶች (አካባቢያዊ፣ አቅራቢያ ያሉ ግንኙነቶችን የሚይዙ) በአብዛኛው ሳይነኩ ይቀራሉ፣ ዝቅተኛ ድግግሞሽ መጠኖች (የረጅም ርቀት ቦታን የሚይዙ) እርስ በርስ የተጠላለፉ ናቸው። በተጨማሪም ሎጊቶች በረዥም ርቀት ላይ በደንብ እንዲታዩ ለማድረግ የሙቀት ማስተካከያ ትኩረትን ይጨምራል። በኤልኤምኤ ሞዴሎች ላይ የሚታየው ውጤቱ አውድ ከ4K ወደ 64K-128K ቶከኖች ከዋናው የሥልጠና መረጃ 0.1% ያህሉን ብቻ እና ጥቂት መቶ ጥሩ ማስተካከያ ደረጃዎችን በመጠቀም ይዘልቃል።

ቴክኒካዊ ግንዛቤ

RoPE መጠይቁን እና ቁልፍ ቬክተሮችን ከአቀማመጥ ጋር ተመጣጣኝ በሆነ አንግል እና በእያንዳንዱ ልኬት ድግግሞሽ ያዞራል። Naive linear interpolation (Position Interpolation) ሁሉንም ድግግሞሾች በእኩል መጠን ያጨቃጭቃል፣ የአካባቢ ዝርዝሮችን ይጎዳል። ያአርኤን ይልቁንስ 'NTK-by-parts'ን ይተገበራል፡ የዝቅተኛ ድግግሞሽ (የረዥም ሞገድ ርዝመት) ልኬቶችን ብቻ ያስተላልፋል፣ ከፍተኛ ድግግሞሽን ብቻቸውን ይተዋል እና በመካከላቸው ይራመዳል። የትኩረት ሙቀት መጨመር ለኤንትሮፒ ለውጥ ማካካሻ ነው ፣ ይህም በተራዘመ ርዝመት ትክክለኛነትን ይጠብቃል።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የወደፊት የYaRN አውድ መስኮት ልኬት

የYaRN-ቅጥ ፍሪኩዌንሲ-አወቀ ቅጥያ የረጅም አውድ ሞዴሎችን ለመላክ ነባሪ ንጥረ ነገር ሆኗል፤ ላብራቶሪዎች ወደ ሚሊዮን ቶከን መስኮቶች ሲገፉ ልዩነቶች እና ተተኪዎች መታየታቸውን ይቀጥላሉ ። በብቃት ትኩረት፣ በKV-cache compression እና በተለዋዋጭ ልኬት በፍላጎት ላይ የሚስተካከል ጥብቅ ውህደትን ይጠብቁ። ሰፋ ያለዉ አዝማሚያ 'ሞዴል ለምን ያህል ጊዜ እንደሰለጠነ' 'በምን ያህል ጊዜ ጠቃሚ በሆነ መልኩ ማንበብ ይችላል' ከሚለው ጋር በማላቀቅ ረጅም አውድ ውድ ከሆነው የስነ-ህንፃ ቁርጠኝነት ይልቅ ከስልጠና በኋላ ርካሽ ባህሪ እያደረገ ነው።

የእውነተኛ-ዓለም አተገባበር

ክፍት የኤልኤምኤ ሞዴልን ከ4K ወደ 128K ቶከኖች ማራዘም በአንድ ማለፊያ ሙሉ ኮድ ቤዝ ወይም ረጅም ውል ማስገባት ይችላል።

የቻትቦት ቀደምት ተራዎችን ሳይቆርጡ በጣም ረጅም የውይይት ታሪኮችን እንዲይዝ መፍቀድ

የመጽሃፍ-ርዝመት ሰነዶችን ወይም የብዙ ሰአታት ግልባጮችን ከመሰረቱ ሞዴል ቤተኛ መስኮት በላይ ማጠቃለል

ትንሽ የተስተካከለ ሩጫን ብቻ በመጠቀም ለረጅም ጊዜ አውድ የማውጣት ስራዎች ቀድሞ የሰለጠነ ሞዴልን በርካሽ ማላመድ

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the YaRN Context Window Scaling quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

አውድ ዊንዶውስ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is YaRN Context Window Scaling?

YaRN (ሌላ የ RoPE ቅጥያ) የትራንስፎርመርን ጥቅም ላይ የሚውል አውድ መስኮት ከሰለጠነው በጣም ርቆ የሚዘረጋ፣ በትንሹ የማስተካከል ዘዴ ነው። አስፈላጊ ነው ምክንያቱም ነባር ሞዴሎች ከባዶ ሳይሰለጥኑ ብዙ ረጅም ሰነዶችን እንዲይዙ ስለሚፈቅድ ነው።

የዓውድ ርዝመትን ለማራዘም ያአርኤን የሚያስተካክለው የትኛውን የአቀማመጥ ኢንኮዲንግ እቅድ ነው?

ያአርኤን 'ገና ሌላ የ RoPE ቅጥያ' ማለት ነው እና በRotary Position Embeddings ውስጥ ጥቅም ላይ የዋሉ የማዞሪያ ድግግሞሾችን እንደገና በማስተካከል ይሰራል።

YaRN ከፍተኛ-ድግግሞሹን እና ዝቅተኛ-ድግግሞሹን የRoPE ልኬቶችን እንዴት ያስተናግዳል?

የYaRN's 'NTK-by-parts' አቀራረብ ከፍተኛ-ድግግሞሽ (አካባቢያዊ) ልኬቶችን ይጠብቃል እና ዝቅተኛ-ድግግሞሾችን (ረጅም ርቀት) በመቀላቀል የአካባቢ ዝርዝሮችን ላለመጉዳት።

ረጅም አውድ ሞዴልን ከባዶ ከማሰልጠን የYaRN ቁልፍ የውጤታማነት ጥቅም ምንድነው?

ያአርኤን ከመጀመሪያው የሥልጠና መረጃ በግምት 0.1% እና ትንሽ የማስተካከል ደረጃዎችን በመጠቀም አውድ ማራዘም ይችላል።

ድግግሞሾችን እንደገና ከማስተካከል በተጨማሪ የረዥም ርቀት ትኩረት እንዲረጋጋ YaRN ምን ተጨማሪ ማስተካከያ ያደርጋል?

YaRN ቅደም ተከተሎች በጣም በሚረዝሙበት ጊዜ የሚከሰተውን የኢንትሮፒ/ሎግ ፈረቃ ለማካካስ የትኩረት ሙቀትን ይለውጣል።

የRoPE ሞዴል ቅደም ተከተሎችን ከሰለጠነበት ጊዜ በላይ ቢመገቡ ምን ችግር ይፈጠራል?

RoPE በደንብ የማይታዩ ረዣዥም አቀማመጦችን ያጠቃልላል፣ ስለዚህ ድግግሞሾቹ ካልተቀነሱ በስተቀር ጥራቱ ይወድቃል።