የረጅም አውድ አቀማመጥ አቀማመጥ
Positional Interpolation (PI) ሞዴሉ ቀድሞውኑ በሚያውቀው ክልል ውስጥ አዲስ የአቀማመጥ ኢንዴክሶችን በመጭመቅ የትራንስፎርመርን አውድ መስኮት የሚያራዝም ቀላል፣ ተደማጭነት ያለው ቴክኒክ ነው።
አጠቃላይ እይታ
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
ጥልቅ ዳይቭ
በ2023 በMeta ተመራማሪዎች (Chen et al.) የተዋወቀው፣ Positional Interpolation RoPE ያላቸው ሞዴሎች ከስልጠና ባለፈ ወደ ቦታ ሲወጡ በአሰቃቂ ሁኔታ ሲወድቁ ይስተዋላል። ግንዛቤው ተቃራኒ ነው፡ ሞዴሉን አይቶ የማያውቀውን ትላልቅ የቦታ እሴቶችን እንዲይዝ ከመጠየቅ ይልቅ፣ PI የመጪውን የቦታ ኢንዴክሶችን በመጠን ይከፋፍላል፣ 8 ኪ ካርታዎች ወደ መጀመሪያው 2K ክልል ይመለሳሉ። ሞዴሉ በዚያ ክልል ላይ ስለሰለጠነ፣ ሽክርክሮቹ በስርጭት ውስጥ ይቆያሉ። ከ1,000 ጥሩ የማስተካከል ደረጃዎች በኋላ፣ የኤልኤምኤ ሞዴል በዚህ መንገድ እስከ 32K አውድ ድረስ ተዘረጋ። ወረቀቱ ኤክስትራፖላሽን የትኩረት ነጥቦችን ወደ ትልቅ እሴቶች ሊወስድ እንደሚችል አሳይቷል ፣ ግን interpolation ውሱን እና የተረጋጋ ያደርጋቸዋል ፣ ለዚህም ነው interpolation ከ extrapolation በተሻለ ሁኔታ ይሰራል።
ቴክኒካዊ ግንዛቤ
PI የኤክስቴንሽን ምክንያት በሆነበት ቦታ m ወደ m/s ያስተካክላል (ለምሳሌ፣ አዲስ ርዝመት በዋናው ርዝመት የተከፈለ)። ለRoPE ይህ በአጎራባች ቦታዎች መካከል ያለውን የማዞሪያ ደረጃ በጥሩ ሁኔታ ይቀንሳል፣ ተጨማሪ ቦታዎችን ወደ ሰለጠነ የማዕዘን ክልል በማሸግ። በወረቀቱ ላይ ያለው የንድፈ ሃሳባዊ ትስስር እርስ በርስ የተጠላለፉ የትኩረት ውጤቶች በጥሩ ቁጥጥር እንደሚቆዩ ያሳያል፣ ነገር ግን የዋህ ኤክስፕሎረር በስልጠና ላይ ከሚታየው ከማንኛውም ነገር የሚበልጡ ውጤቶችን ያስገኛል፣ softmaxን ያዳክማል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የረጅም ጊዜ አውድ የአቀማመጥ መጠላለፍ የወደፊት ዕጣ
የአቀማመጥ ኢንተርፖሌሽን NTK-aware scaling እና YaRNን ጨምሮ የአካባቢ ዝርዝሮችን ለመጠበቅ ይበልጥ እየመረጡ የሚጠላለፉትን የክትትል ማዕበል መሰረት ሆነ። መንገዱ ትንሽ ወይም ምንም ጥሩ ማስተካከያ ወደሌላቸው ዘዴዎች እና የረጅም ጊዜ አውድ አያያዝን ወደ ቅድመ ስልጠና መጋገር ነው። PI ጠቃሚ የመነሻ መስመር ሆኖ ይቆያል እና ብዙውን ጊዜ 128K-ፕላስ አውድ መስኮቶችን በብቃት ለመድረስ ከአዳዲስ ድግግሞሽ-ነቁ እቅዶች ጋር ይደባለቃል።
የእውነተኛ-ዓለም አተገባበር
8K-32K ቶከኖችን በ1,000 የሚያህሉ የማስተካከያ ደረጃዎችን ለማስተናገድ ባለ2ኪ-አውድ LLAMA ሞዴል ማራዘም
ከባዶ ሳይሰለጥኑ የቆየውን የውይይት ሞዴል ለረጅም ሰነድ ማጠቃለያ ማላመድ
NTK-Aware scaling እና YaRN የሚያሻሽሉት እንደ ሃሳባዊ መነሻ መስመር ሆኖ ማገልገል
በመጀመሪያ በአጫጭር መስኮቶች የሰለጠኑ ሞዴሎች ላይ ረጅም አውድ ኮድ ወይም የህግ ሰነድ ትንተና ማንቃት
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Positional Interpolation for Long Context quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ለዐውድ ማራዘሚያ የአቋም መጠላለፍ
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Positional Interpolation for Long Context?
Positional Interpolation (PI) ሞዴሉ ቀድሞውኑ በሚያውቀው ክልል ውስጥ አዲስ የአቀማመጥ ኢንዴክሶችን በመጭመቅ የትራንስፎርመርን አውድ መስኮት የሚያራዝም ቀላል፣ ተደማጭነት ያለው ቴክኒክ ነው። ወደማይታዩ ቦታዎች ከማውጣት ይልቅ በሰለጠኑ ሰዎች መካከል ይገናኛል፣ ይህም አጭር ማስተካከያ ብቻ ይፈልጋል።
ከPositional Interpolation በስተጀርባ ያለው ዋና ሀሳብ ምንድን ነው?
PI የቦታ ኢንዴክሶችን በሚዛን ስለሚከፋፍል ረዘም ያለ ቅደም ተከተሎች ወደ ሰለጠነ የቦታ ክልል ይመለሳሉ፣ ሽክርክሪቶችን በስርጭት ያስቀምጣል።
ለምንድነው የዋህነት ወደ ረጅም የስራ መደቦች መውጣት የማይሳካው?
የ PI ወረቀቱ የማይታዩ ትላልቅ ቦታዎች የትኩረት ነጥቦችን ከስልጠና የበለጠ ትልቅ ትዕዛዞችን ሊያወጡ እንደሚችሉ አሳይቷል፣ softmaxን ያዳክማል።
LLMA ወደ 32K ለማራዘም የመጀመሪያው የ PI ስራ ምን ያህል ጥሩ ማስተካከያ አስፈልጎ ነበር?
ወረቀቱ እንደዘገበው ወደ 1,000 የሚጠጉ ጥሩ የማስተካከያ ደረጃዎች አውድ እስከ 32 ኪ ቶከን ለማራዘም በቂ ነበሩ።
ዐውደ-ጽሑፉን በፋክታር s ካራዘምክ፣ PI እንዴት ቦታ m ይለውጣል?
PI ከ m እስከ m/s ያለውን ቦታ ይለካል፣ አዲሱን ትልቅ ክልል ወደ መጀመሪያው የሰለጠነ ክልል ይጨመቃል።
እንደ YaRN ያሉ በኋላ ላይ PI እንዴት ተጽዕኖ አሳደረ?
PI interpolation እንደ አስተማማኝ አቀራረብ አቋቋመ; NTK-Aware scaling እና YaRN ድግግሞሾችን በበለጠ እየመረጡ በማጣመር አጣራው።