ወረቀት የተከማቹ ቢትዎችን ሳይቀይሩ በቁጥር ለተዘጋጁ የቋንቋ ሞዴሎች ተንቀሳቃሽ ዝማኔዎች CellFillን ይጠቁማል

ምን ተፈጠረ

ተመራማሪዎች በዋናው የሞዴል ፋይል ውስጥ የተከማቹ የኢንቲጀር ኮዶችን ወይም የተጋሩ ሚዛኖችን ሳይቀይሩ በተሰማሩ የቋንቋ ሞዴሎች ላይ እውቀትን ለመጨመር ዘዴ የሆነውን CellFillን ይገልጻሉ። ዝማኔው ደራሲዎቹ ሙላ ብለው በሚጠሩት የተለየ ፋይል ውስጥ ተቀምጧል እና በመቀነስ ሊወጣ ይችላል።

ወረቀቱ የሚጀምረው ባለ 4-ቢት መጠን ካለው ንብረት ነው። እያንዳንዱ የሞዴል ክብደት በኢንቲጀር ኮድ እና በጋራ ሚዛን ይወከላል፣ የቁጥር ሂደቱ በተከማቹ እሴቶች መካከል ያለውን ክፍተት ያስወግዳል። ደራሲዎቹ “በሴል ውስጥ መማር” አዲስ መረጃን ወደዚያ ጥቅም ላይ ላልነበረው የጊዜ ክፍተት መፃፍ ብለው ይገልጻሉ። የእነርሱ ገደብ የቀረቡትን የክብደት መጠኖች እንደገና ለመለካት ዋናውን የኢንቲጀር ኮዶች እና ሚዛኖች በትክክል ማባዛት አለባቸው። በተግባራዊ አነጋገር፣ የመሠረት ሞዴል ፋይሉ በቢት ደረጃ ሳይለወጥ ሊቆይ ይችላል የተለየ ዝማኔ ሲተገበር የአምሳያው ባህሪን ይለውጣል።

CellFill የዚህ ሃሳብ የወረቀት ትግበራ ነው. በእያንዳንዱ የኳንታይዜሽን ሴል ውስጥ ዝቅተኛ ደረጃ ቦታን ይጠቀማል እና በአቅራቢው በራሱ ባለ 4-ቢት ልቀት ላይ የሰለጠነ ነው። ምንጩ ሙከራዎቹ NF4ን፣ የኳንትላይዜሽን-አወቀ-ስልጠናን እና የጂፒቲኪን አይነት ፍርግርግን፣ እንዲሁም Qwen3 እና Gemma ሞዴሎችን ከ1.7 ቢሊዮን እስከ 31 ቢሊዮን መለኪያዎች ይሸፍናሉ ብሏል። ደራሲዎቹ ዘዴው በጠቅላላ የቁጥር መለኪያዎች ላይ ብቻ ከመተማመን ይልቅ ለእያንዳንዱ የተገደበ ክብደት በ ኢንቲጀር ጎራ ውስጥ ያለውን ዋስትና ያረጋግጣል ይላሉ።

ሴልፊል ከ83% እስከ 97% የሚሆነውን የእውነተኛ እውነታዎች ኮርፐስ እንደጻፈው ጸሃፊዎቹ ዘግበዋል፡ የተፈተኑት ሞዴሎች በእርግጠኝነት የማያውቁትን፣ ዜሮ ሪፖርት የተደረገባቸው ገደቦች እስከ 2.4 × 10^10 የተገደቡ ክብደቶች አሉ። በተጨማሪም የተጨመረው እውቀት ከማስታወስ ይልቅ ጥቅም ላይ እንደሚውል ለማሳየት የታቀዱ ሙከራዎችን ሪፖርት አድርገዋል፡- የተወጉ መድኃኒቶች በመርፌ የተወጉ ንጥረ ነገሮች በአምሳያው ሪፖርት እስከተገለፀው ባለ ሁለት ሆፕ ጣሪያ ድረስ እና የሶፍትዌር ቤተ-መጽሐፍት የአምሳያው መቆራረጥ በ 2.6 ጊዜ ዕድል በ ኮድ ውስጥ ጥቅም ላይ ውሏል። እነዚህ ከቅድመ-ህትመት የራሱ ሙከራዎች የቀረቡ የይገባኛል ጥያቄዎች እንጂ በራሳቸው የተረጋገጡ ውጤቶች አይደሉም።

በPopQA የረዥም ጅራት ጥያቄዎች ላይ ለማንሳት ንጽጽር ምንጩ እንደሚለው የተለቀቀው ሞዴል ሊመልስ ያልቻለውን ከ82% እስከ 90% ለሚሆኑት ጥያቄዎች ሙላቱ በጥያቄ 75 ቶከንን በመጠቀም መልስ ሰጥቷል። የተጠቀሱት የመልሶ ማግኛ ስርዓቶች በአንድ ጥያቄ ከ90 እስከ 1,008 ቶከኖችን ተጠቅመዋል። ወረቀቱ በተጨማሪም በርካታ ጸሃፊዎች አንድ ሞዴል ልቀት ሊያካፍሉ እንደሚችሉ እና ተከታታይ ዝመናዎች የቀረውን ክፍል ቋሚ ክፍልፋይ እንደሚፈጁ ተናግሯል። ምንጩ ከሰንጠረዦቹ በስተጀርባ በማህደር የተቀመጡ የውጤት ፋይሎችን ይጠቁማል፣ ነገር ግን የቀረበው ጽሁፍ ሙሉውን የሙከራ ፕሮቶኮሉን ለመገምገም ይዘታቸውን በበቂ ሁኔታ አይገልጽም።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

በገለልተኛነት ከተረጋገጠ፣ አቀራረቡ አንዳንድ የሞዴል ማሻሻያዎችን ለኦዲት፣ ለማሰራጨት፣ ለማረጋገጥ እና ለመሻር ቀላል ሊያደርግ ይችላል ምክንያቱም የመጀመሪያው ልቀቱ ትንሽ ተመሳሳይ ሆኖ ሳለ አዲስ ባህሪ በተናጠል ይከናወናል። ምንጩ ተስፋ ሰጪ ውጤቶችን ዘግቧል፣ ነገር ግን የምርት ዝግጁነት ወይም ሰፊ አስተማማኝነት አላስቀመጠም።

ተግባራዊ ጠቀሜታ የስሪት ቁጥጥር ነው. የተዘረጋ የቋንቋ ሞዴል ከቤንችማርክ ሪፖርቶች፣ የምስክር ወረቀቶች፣ የመሣሪያ መርከቦች ወይም አንድ የተወሰነ ፋይል ከሚወስዱ ሌሎች ስርዓቶች ጋር ሊያያዝ ይችላል። የተለመደው ማሻሻያ አዲስ የሞዴል ቅርስ መፍጠር እና ከተረጋገጠው ልቀት ጋር ንፅፅሮችን ሊያወሳስብ ይችላል። የሴልፋይል ሃሳብ ባልተለወጠው የመሠረት ልቀት እና በተንቀሳቃሽ ሙሌት መካከል መለያየት አንድ ድርጅት ኦርጅናሉን በቁጥር የተሰራውን ፋይል ሳይተካ አዲስ እውቀት እንዲያሰራጭ ያስችለዋል። ያ መለያየት ተገላቢጦሹን የበለጠ ግልጽ ሊያደርግ ይችላል። እንደ ወረቀቱ ዝማኔው በመቀነስ ሊወጣ የሚችል የተለየ ፋይል ነው። ይህ የሚበረክት ቤዝ ሞዴል እና የተለያዩ ተጠቃሚዎች ሊታከል የሚችል ሊወገድ ወይም ሊመደብ የሚችል የዝማኔ ንብርብር መካከል ጠቃሚ ሊሆን የሚችል ልዩነት ይፈጥራል. ምንም እንኳን ምንጩ የተሟላ የኦዲት፣ የመዳረሻ ቁጥጥር ወይም የአስተዳደር ስርዓት ባያቀርብም እንዲህ ያለው ንድፍ ኦፕሬተሮች የትኛው እውቀት እንደተጨመረ እና መቼ እንደተጨመረ እንዲከታተሉ ሊረዳቸው ይችላል።

የተዘገበው የውጤታማነት ንፅፅር ወደ ሌላ ጥቅም ይጠቁማል። ሙላቱ ከዚህ ቀደም ያመለጡ ብዙ የPopQA ጥያቄዎችን በንፅፅር ውስጥ ጥቅም ላይ ከዋሉት የመመለሻ ስርዓቶች በበለጠ አጭር ማስመሰያ በጀት መለሰ። ውጤቱ ከማባዛት ከተረፈ እና ሰፋ ባለው የስራ ጫና ላይ ከተተገበረ፣ የታመቀ ማሻሻያ አንዳንድ ጊዜ ረጅም አውድ ደጋግሞ ከማውጣት የበለጠ ርካሽ ወይም ቀላል ሊሆን ይችላል። ምንጩ ንጽጽሩ ለመረጃ ጠቋሚ፣ ጥራት መልሶ ማግኛ፣ መዘግየት፣ የማህደረ ትውስታ አጠቃቀም ወይም አጠቃላይ የሥርዓት ወጪ መቆጣጠሩን ለማረጋገጥ በቂ መረጃ አይሰጥም።

ዘዴው የሞዴል ዝመናዎች እንዴት እንደሚገመገሙም ይለውጣል። ደራሲዎቹ በቁጥር የተቀመጡትን ኮዶች እና ሚዛኖች በትክክል መጠበቅ ስለሚያስፈልጋቸው ለመሠረታዊ ቅርስ የሚሆን ኮንክሪት በማሽን ሊረጋገጥ የሚችል ሁኔታን ያቀርባሉ። ያ አንዳንድ የዝማኔ የይገባኛል ጥያቄዎችን ከተራ ጥሩ ማስተካከያ የይገባኛል ጥያቄዎች የበለጠ ቀላል ያደርገዋል። ነገር ግን፣ የቢት ማንነት ከባህሪ ደህንነት ወይም ጥራት ጋር አንድ አይነት አይደለም፡ ሞዴሉ የተከማቸው የመሠረት ቢት ሳይለወጡም እንኳ በመሙላት የተለየ ባህሪ ሊኖረው ይችላል። ምንጩ አሰራሩ ከቅዠት ፣ከማይፈለጉ ማህበራት ፣ከመረጃ መልቀቅ ወይም ከጎጂ አዲስ የተከተቡ እውቀቶችን ይከላከላል ወይ አያሳይም።

ቀጥሎ ምን እንደሚታይ

ዋናዎቹ ጥያቄዎች የውጪ ተመራማሪዎች ሪፖርት የተደረጉትን ውጤቶች እንደገና ማባዛት ይችሉ እንደሆነ፣ ሙላዎች ያሉትን ችሎታዎች ይጠብቃሉ ወይ፣ ብዙ ዝማኔዎች እንዴት መስተጋብር እንደሚፈጥሩ እና ምን ያህል ማከማቻ እና የሩጫ ጊዜ በላይ ዘዴው እንደሚጨምር ናቸው። ቅድመ ህትመቱ ከተፈተኑት መቼቶች ባሻገር ስለ ደህንነት፣ አላግባብ አጠቃቀም እና አፈጻጸም ክፍት ጥያቄዎችን ይተዋል።

ገለልተኛ ማባዛት የመጀመሪያው ቁልፍ ፈተና ነው። ወረቀቱ በቀረበው መዝገብ ውስጥ በአቻ የተገመገመ ህትመት ሳይሆን በ21 ኦገስት 2026 የተሻሻለ እና በ24 ኦገስት 2026 የተሻሻለው የarXiv ቅድመ ህትመት ነው። ተመራማሪዎች የኢንቲጀር-ጎራ ዋስትናን፣ የዜሮ ጥሰት ውጤቱን እና የተዘገበው የእውቀት-መርፌ መጠን በተጠቀሱት የመጠን እቅዶች እና ሞዴል ቤተሰቦች ላይ ማረጋገጥ አለባቸው። በማህደር የተቀመጡት የውጤት ፋይሎች ሊረዱ ይችላሉ፣ ነገር ግን የምንጭ ጽሁፍ ብቻ ተደራሽነታቸውን፣ ምሉዕነታቸውን ወይም ገለልተኛ ማረጋገጫቸውን አያረጋግጥም።

ወደፊት የሚደረጉ ግምገማዎች መሙላት የመሠረት ሞዴል ቀደም ሲል የነበሩትን ችሎታዎች ይጎዳ እንደሆነ መመርመር አለባቸው። የቀረበው አብስትራክት ሞዴሎቹ ያላወቁትን እውነታዎች፣ የቅንብር ሙከራዎችን እና ከተቋረጠ በኋላ ያለ የሶፍትዌር ቤተ-መጽሐፍት ላይ አፅንዖት ይሰጣል፣ ነገር ግን ሰፊ የመልሶ ማቋቋሚያ ሙከራን፣ እምቢተኛነት ባህሪን፣ መለካትን፣ ከተወጋው ኮርፐስ ውጪ ያለውን ተጨባጭነት ወይም ተያያዥነት የሌላቸው ተግባራትን አፈጻጸም ሪፖርት አያደርግም። እንዲሁም ደራሲዎቹ ሞዴሎቹ ከስልጠና በፊት እያንዳንዱን እውነታ በትክክል እንደጎደላቸው እንዴት እንደወሰኑ አይገልጽም።

ስለ ተከታታይ ዝመናዎች እና በርካታ ጸሃፊዎች የወረቀቱ የይገባኛል ጥያቄዎች ጥንቃቄ የተሞላበት ሙከራ ያስፈልጋቸዋል። ለአንድ ሙሌት የሚሰራ ዘዴ ያለው የሕዋስ ቦታ ጥቅም ላይ ሲውል የተለየ ባህሪ ሊኖረው ይችላል፣ ዝማኔዎች ሲደራረቡ ወይም ጸሐፊዎች እርስ በርሳቸው የሚጋጩ እውነታዎችን ሲያስተዋውቁ። አስፈላጊ ተግባራዊ ልኬቶች የእያንዳንዱን መሙላት መጠን, የስልጠና እና የትግበራ ጊዜ, የማጣቀሻ መዘግየት, የማስታወስ አጠቃቀም, ዘላቂነት ያለው ዝመናዎች ብዛት እና መቀነስ የቀደመውን ባህሪ ሙሉ በሙሉ የሚመልስበት ሁኔታዎችን ያካትታሉ.

የጸጥታና የአስተዳደር ችግርም አልተፈታም። ተነቃይ የማሻሻያ ፋይል ለቁጥጥር ስርጭቱ ጠቃሚ ሊሆን ይችላል፣ነገር ግን አጥቂው ሊተካው ወይም ሊለውጠው ከቻለ ራሱን የቻለ ማዛባት ኢላማ ሊሆን ይችላል። ምንጩ ማረጋገጫን፣ ፍቃድን፣ ማረጋገጫን፣ የግላዊነት ጥበቃን ወይም ከተንኮል አዘል የእውቀት መርፌ መከላከያዎችን አይገልጽም። በእውነተኛ የአገልግሎት ስርዓቶች ውስጥ ለቀጣይ የስራ ሙከራ መሻርን፣ ከደህንነት ማስተካከያ እና በሞዴሎች ላይ አፈጻጸምን በተመለከተ፣ ጎራዎች እና የዝማኔ አይነቶች እዚህ ሪፖርት ከተደረጉት ሙከራዎች በላይ ይመልከቱ።

ተዛማጅ መመሪያዎች እና ጥያቄዎች