የYaRN እና የአውድ ርዝመት ማራዘሚያ
YaRN (ሌላ የ RoPE ቅጥያ) የአንድን ሞዴል ጥቅም ላይ የሚውል አውድ መስኮት ከሰለጠነው በላይ ለመዘርጋት ቀልጣፋ ዘዴ ነው።
አጠቃላይ እይታ
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
ጥልቅ ዳይቭ
አብዛኞቹ ዘመናዊ ኤል.ኤል.ኤም.ዎች የቶከን ቦታዎችን በRoPE (Rotary Position Embeddings) ያመለክታሉ፣ እሱም መጠይቁን እና ቁልፍ ቬክተሮችን ከቦታ ጋር በተያያዙ ማዕዘኖች ይሽከረከራሉ። ከስልጠና ርዝመት በላይ ቅደም ተከተሎችን ሲመገቡ፣ እነዚህ ሽክርክሪቶች ወደማይታዩ ክልሎች ያስገባሉ እና ሞዴሉ ይሰበራል። በ 2023 በ Bowen Peng እና በተባባሪዎቹ የተዋወቀው ያአርኤን ይህንን በ NTK-aware interpolation በየድግግሞሹ ያስተካክላል፡ ከፍተኛ ድግግሞሽ ልኬቶችን (አካባቢያዊ፣ የአጭር ክልል ግንኙነቶችን የሚይዙ) በአብዛኛው ያልተነኩ ዝቅተኛ ድግግሞሽ ልኬቶችን (የረጅም ርቀት አቀማመጥን የሚከታተል) ይተዋቸዋል። YaRN ከረዥም አውዶች የሚመጡትን የኢንትሮፒ ለውጦችን ለመከላከል ትኩረትን ላይ የሙቀት ማስተካከያ ይጨምራል። ውጤቱ በጥቂቱ የዳታ ክፍልፋዮች እና የዋህ አቀራረቦች የሚያስፈልጋቸው እርምጃዎች ላይ በጥሩ ሁኔታ ከተስተካከሉ በኋላ ጠንካራ የረጅም ጊዜ አውድ አፈጻጸም ነው።
ቴክኒካዊ ግንዛቤ
RoPE ለእያንዳንዱ የመክተት ልኬት የማዞሪያ ድግግሞሽ ይመድባል። Naive linear interpolation ሁሉንም ድግግሞሾች በእኩል መጠን ይጨመቃል፣ ይህም ጥሩ የአካባቢ ዝርዝሮችን የሚመሰክሩ የከፍተኛ ድግግሞሽ ልኬቶችን ይጎዳል። YaRN ከፍተኛ-ድግግሞሾችን በማቆየት ዝቅተኛ ድግግሞሽ (ረጅም የሞገድ ርዝመት) ልኬቶችን ብቻ ለማገናኘት የራምፕ ተግባርን ይጠቀማል፣ በተጨማሪም 1/ስኩዌር(t) ትኩረት የሙቀት መጠን ልኬት በቅደም ተከተል ርዝመት ሲያድግ የሶፍትማክስ ሹልነት እንዲረጋጋ ያደርጋል። ይህ የኤን.ቲ.ኬ-በ-ክፍል አቀራረብ አውድ በጣም ያነሰ ውርደትን ያራዝመዋል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የYaRN የወደፊት እና የአውድ ርዝመት ማራዘሚያ
የአውድ ማራዘሚያ አሁን መደበኛ ልምምድ ነው፡ ክፍት ሞዴሎች 128K ቶከኖች ወይም ከዚያ በላይ የሚደርሱ የYaRN-የተራዘሙ ተለዋጮችን በመደበኛነት ይላካሉ። ምርምር በዜሮ ወይም በዜሮ አቅራቢያ ጥሩ ማስተካከያ ወደሚያደርጉ ዘዴዎች እየተንቀሳቀሰ ነው፣ የROPE ማስተካከያን ከትኩረት-ስርዓተ-ጥለት ዘዴዎች ጋር በማጣመር እና ጫፎቹን ብቻ ሳይሆን ሙሉ መስኮቱን ጥራትን ወደሚጠብቁ ዘዴዎች እየሄደ ነው። እነዚህ ቴክኒኮች በቅድመ-ስልጠና ውስጥ ጥብቅ ውህደት ይጠብቁ ስለዚህ ረጅም አውድ እንደገና ከመስተካከል ይልቅ ቤተኛ ነው።
የእውነተኛ-ዓለም አተገባበር
ክፍት ባለ 4 ኬ አውድ ሞዴል ወደ 32K ወይም 128K ማራዘም የረዥም ሰነድ ጥያቄን በአጭር ማስተካከያ
ሰርስሮ የተጨመሩ ስርዓቶች ብዙ የተጣመሩ ምንባቦችን ሳይቆራረጡ ወደ ውስጥ እንዲገቡ ማድረግ
በአንድ ጥያቄ ውስጥ ሙሉ ትልቅ ማከማቻ ፋይል ወይም ብዙ ፋይሎች የሚያስፈልጋቸው የኮድ ረዳቶች ኃይል መስጠት
ትላልቅ የውይይት ታሪኮችን ለሚያከማቹ ረጅም ባለብዙ ዙር ንግግሮች የመሠረት ሞዴልን ማላመድ
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN and Context Length Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ለዐውድ ማራዘሚያ የአቋም መጠላለፍ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is YaRN and Context Length Extension?
YaRN (ሌላ የ RoPE ቅጥያ) የአንድን ሞዴል ጥቅም ላይ የሚውል አውድ መስኮት ከሰለጠነው በላይ ለመዘርጋት ቀልጣፋ ዘዴ ነው። በጥበብ የሰለጠነ ሞዴል 4K ቶከኖች በትንሹ በማስተካከል 32K ወይም ከዚያ በላይ ማስተናገድ እንዲችሉ የማሽከርከር ቦታ መክተትን በዘዴ ያድሳል።
ዐውደ-ጽሑፍን ለማራዘም YaRN የሚቀይረው የትኛውን የአቀማመጥ-መቀየሪያ ዘዴ ነው?
ያአርኤን፣ ስሙ አሁንም ሌላ የRoPE ቅጥያ ማለት ነው፣ በአብዛኛዎቹ ዘመናዊ ኤል.ኤል.ኤም.
የRoPE ሞዴል ከስልጠናው ርዝመት በላይ ቅደም ተከተሎችን ሲያይ ምን ችግር አለበት?
ከስልጠና በላይ ያሉ ቦታዎች ሞዴሉ ያላየውን የማዞሪያ ማዕዘኖች ያስገኛሉ፣ ስለዚህ ትኩረትን የሚስብ ባህሪ በከፍተኛ ሁኔታ ይቀንሳል።
ያአርኤን የተለያዩ የRoPE ድግግሞሽ ልኬቶችን እንዴት ነው የሚያየው?
ያአርኤን የረዥም ሞገድ ርዝመት ዝቅተኛ ድግግሞሽ ድዝመቶችን የሚያስተሳስር እና የአጭር ክልል ከፍተኛ ድግግሞሽ ደብዛዛዎችን የሚተው የ NTK በክፍል መወጣጫ ይጠቀማል።
ድግግሞሾችን ከመቀየር በተጨማሪ YaRN ምን ተጨማሪ ማስተካከያ ይተገበራል?
አውድ ሲያድግ የሚከሰቱ የኢንትሮፒ ፈረቃዎችን ለመከላከል ያአርኤን የሙቀት መጠንን ወደ ትኩረት ሎጊቶች ያክላል።
የYaRN ቁልፍ ተግባራዊ ጥቅም ከዋህነት ጋር ምንድ ነው?
YaRN በሚፈልጉት የውሂብ ቀላል ዘዴዎች ላይ በጥሩ ሁኔታ ከተስተካከሉ በኋላ ጠንካራ የረጅም ጊዜ አውድ ጥራትን ያገኛል።