አጠቃላይ እይታ
Positional Interpolation (PI) ሞዴሉ ቀድሞውኑ በሚያውቀው ክልል ውስጥ አዲስ የአቀማመጥ ኢንዴክሶችን በመጭመቅ የትራንስፎርመርን አውድ መስኮት የሚያራዝም ቀላል፣ ተደማጭነት ያለው ቴክኒክ ነው። ወደማይታዩ ቦታዎች ከማውጣት ይልቅ በሰለጠኑ ሰዎች መካከል ይገናኛል፣ ይህም አጭር ማስተካከያ ብቻ ይፈልጋል።
የአቀማመጥ ጣልቃገብነት ረጅም አውድ የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው።
ጥልቅ ዳይቭ
በ2023 በMeta ተመራማሪዎች (Chen et al.) የተዋወቀው፣ Positional Interpolation RoPE ያላቸው ሞዴሎች ከስልጠና ባለፈ ወደ ቦታ ሲወጡ በአሰቃቂ ሁኔታ ሲወድቁ ይስተዋላል። ግንዛቤው ተቃራኒ ነው፡ ሞዴሉን አይቶ የማያውቀውን ትላልቅ የቦታ እሴቶችን እንዲይዝ ከመጠየቅ ይልቅ፣ PI የመጪውን የቦታ ኢንዴክሶችን በመጠን ይከፋፍላል፣ 8 ኪ ካርታዎች ወደ መጀመሪያው 2K ክልል ይመለሳሉ። ሞዴሉ በዚያ ክልል ላይ ስለሰለጠነ፣ ሽክርክሮቹ በስርጭት ውስጥ ይቆያሉ። ከ1,000 ጥሩ የማስተካከል ደረጃዎች በኋላ፣ የኤልኤምኤ ሞዴል በዚህ መንገድ እስከ 32K አውድ ድረስ ተዘረጋ። ወረቀቱ ኤክስትራፖላሽን የትኩረት ነጥቦችን ወደ ትልቅ እሴቶች ሊወስድ እንደሚችል አሳይቷል ፣ ግን interpolation ውሱን እና የተረጋጋ ያደርጋቸዋል ፣ ለዚህም ነው interpolation ከ extrapolation በተሻለ ሁኔታ ይሰራል።
ቴክኒካዊ ግንዛቤ
PI የኤክስቴንሽን ምክንያት በሆነበት ቦታ m ወደ m/s ያስተካክላል (ለምሳሌ፣ አዲስ ርዝመት በዋናው ርዝመት የተከፈለ)። ለRoPE ይህ በአጎራባች ቦታዎች መካከል ያለውን የማዞሪያ እርምጃ በሚገባ ይቀንሳል፣ ተጨማሪ ቦታዎችን ወደ ሰለጠነ የማዕዘን ክልል በማሸግ። በወረቀቱ ላይ ያለው የንድፈ ሃሳባዊ ትስስር እርስ በርስ የተጠላለፉ የትኩረት ውጤቶች በጥሩ ቁጥጥር እንደሚቆዩ ያሳያል፣ ነገር ግን የዋህ ኤክስፕሎረር በስልጠና ላይ ከሚታየው ከማንኛውም ነገር የሚበልጡ ውጤቶችን ያስገኛል፣ softmaxን ያዳክማል።
የረጅም አውድ የአቋም መጠላለፍን መቆጣጠር
Positional Interpolation (PI) ሞዴሉ ቀድሞውኑ በሚያውቀው ክልል ውስጥ አዲስ የአቀማመጥ ኢንዴክሶችን በመጭመቅ የትራንስፎርመርን አውድ መስኮት የሚያራዝም ቀላል፣ ተደማጭነት ያለው ቴክኒክ ነው። ወደማይታዩ ቦታዎች ከማውጣት ይልቅ በሰለጠኑ ሰዎች መካከል ጣልቃ ይገባል ፣ ይህም አጭር ማስተካከያ ብቻ ይፈልጋል። የአቀማመጥ ጣልቃገብነት ረጅም አውድ የሞዴል ጥራትን፣ የመሠረተ ልማት ወጪን፣ መዘግየትን እና አስተማማኝነትን የሚነካ ቴክኒካል ግንባታ ነው። ጥልቅ ግንዛቤን ለመገንባት፣ Positional Interpolation for Long Contextን እንደ ኦፕሬሽን ሞዴል እንጂ አንድ ባህሪ አይደለም፡ የሚፈለጉትን ውጤቶች ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ነገር ለይተው በአስተማማኝ ሁኔታ ሊሰሩ ይችላሉ።
በተግባራዊ ሁኔታ፣ ፖዚሽናል ኢንተርፖሌሽን ለረዥም አውድ የሚጠቀሙ ጠንካራ ቡድኖች አርክቴክቸርን፣ መረጃን እና የመሰረተ ልማት ምርጫዎችን ከአስተማማኝነት እና ከወጪ ጋር ያሻሽላሉ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. በተመሳሳይ ጊዜ፣ አንድ ቤንችማርክን ማሻሻል ሰፋ ያሉ የስርዓት ድክመቶችን መደበቅ ይችላል። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ. ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
8K-32K ቶከኖችን በ1,000 የሚያህሉ የማስተካከያ ደረጃዎችን ለማስተናገድ ባለ2ኪ-አውድ LLAMA ሞዴል ማራዘም
ከባዶ ሳይሰለጥኑ የቆየውን የውይይት ሞዴል ለረጅም ሰነድ ማጠቃለያ ማላመድ
NTK-Aware scaling እና YaRN የሚያሻሽሉት እንደ ሃሳባዊ መነሻ መስመር ሆኖ ማገልገል
በመጀመሪያ በአጫጭር መስኮቶች የሰለጠኑ ሞዴሎች ላይ ረጅም አውድ ኮድ ወይም የህግ ሰነድ ትንተና ማንቃት
የትግበራ ቅጦች
የረጅም አውድ አቀማመጥ በተግባር
8K-32K ቶከኖችን በ1,000 የሚያህሉ ጥሩ ማስተካከያ ደረጃዎችን ለማስተናገድ ባለ2K-አውድ LLAMA ሞዴል ማራዘም።
የ2K-አውድ ኤልኤምኤ ሞዴልን ማራዘም 8K-32K ቶከኖችን ከ1,000 የሚያህሉ ጥሩ የማስተካከል እርምጃዎች ጋር ለማስተናገድ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ መሻሻል መንገድን ይጠብቃሉ፣ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
የረጅም አውድ አቀማመጥ በተግባር
ከባዶ ሳይሰለጥኑ የቆየውን የውይይት ሞዴል ለረጅም ሰነድ ማጠቃለያ ማላመድ።
ያለውን የውይይት ሞዴል ለረጅም ሰነድ ማጠቃለያ ከባዶ ሳይሰለጥኑ ማላመድ ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲያደርጉ እና ሁለቱንም የምርታማነት ትርፍ እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።
የረጅም አውድ አቀማመጥ በተግባር
NTK-Aware scaling እና YaRN የሚያሻሽሉት እንደ ሃሳባዊ መነሻ መስመር ሆኖ ማገልገል።
ኤን.ቲ.ኬን አውቆ ስኬል ማድረግ እና ያአርኤን በቡድኖች ላይ የሚሻሻሉበት የፅንሰ ሀሳብ መሰረት ሆኖ ማገልገል አብዛኛውን ጊዜ የጥራት ደረጃዎችን ከፊት ሲወስኑ የተሻለ ውጤት ያስገኛል፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቃል፣ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
የረጅም አውድ አቀማመጥ በተግባር
በመጀመሪያ በአጫጭር መስኮቶች የሰለጠኑ ሞዴሎች ላይ ረጅም አውድ ኮድ ወይም የህግ ሰነድ ትንተና ማንቃት።
በመጀመሪያ አጭር መስኮቶች በሰለጠኑ ሞዴሎች ላይ የረጅም አውድ ኮድ ወይም የህግ ሰነድ ትንታኔን ማንቃት ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ መሻሻል መንገድን ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት መከታተል።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።