AutoWorldModel-Bench የኮድ ወኪሎች የአለም ሞዴሎችን ማሻሻል ይችሉ እንደሆነ ይፈትሻል

ምን ተፈጠረ

ተመራማሪዎች አውቶወርልድሞዴል-ቤንች፣የኮዲንግ ኤጀንቶች የጀማሪውን ዓለም ሞዴል በቋሚ ስሌት በጀት የሚያሻሽሉበት እና የሚገመግሙበት የተዘጋ-loop መለኪያ አስተዋውቀዋል። መለኪያው ከጥሬ ምስላዊ ግብዓት ይልቅ የተዋቀሩ የመሬት-እውነት ጨዋታ ግዛቶችን ይጠቀማል እና ስምንት የጨዋታ አካባቢዎችን ይሸፍናል። ደራሲዎቹ እንደዘገቡት Codex-5.4 እና Claude Opus 4.6 በ63 ከ64 ክፍለ-ጊዜዎች ጀማሪ ሞዴሎቻቸውን እንዳሻሻሉ፣ 91% የአሸናፊነት አርትዖቶች ከሃይፐርፓራሜትር ማስተካከያዎች ይልቅ በምርምር አይነት ለውጦች ተገልጸዋል።

እ.ኤ.አ. በጁላይ 20፣ 2026 ለ arXiv የቀረበው ወረቀቱ አውቶወርልድሞዴል-ቤንች እንደ አውቶሜትድ የአለም ሞዴል ምርምር መለኪያ አድርጎ አቅርቧል። የአለም ሞዴሊንግ ስነ-ህንፃ፣ የስልጠና አላማ እና የግዛት ውክልና መስተጋብር የሚፈጥሩበት ያልተረጋጋ አካባቢ አድርጎ ቀርጿል፣ ምንም አይነት የምግብ አዘገጃጀት በአካባቢዎች ላይ የበላይ ሆኖ አልተቋቋመም። ያ እርግጠኛ አለመሆን ለቤንችማርክ አላማ ማዕከላዊ ነው፡ ተወካዩ በቀላሉ አስቀድሞ የተወሰነ ዝርዝር መግለጫን እንዲተገብር አይጠየቅም ነገር ግን የቀረበው የአለም ሞዴል ጀማሪ እንዴት መሻሻል እንዳለበት ለመወሰን ነው።

መለኪያው እንደ ዝግ ዑደት ይሰራል። የኮድ ኤጀንት ጀማሪ ሲስተም ይቀበላል፣ ለውጥ ሃሳብ ያቀርባል እና ተግባራዊ ያደርጋል፣ በቋሚ ስሌት በጀት ግምገማ ያካሂዳል እና በምርምር ሂደቱ ይቀጥላል። ማጠቃለያው ማመሳከሪያው ስምንት የጨዋታ አካባቢዎችን የሚሸፍን እና እያንዳንዱን አካባቢ የሚወክለው ከጨዋታው በተወሰደ መሬት-እውነት አካል እንደሆነ ነው። እነዚያ ግዛቶች ወደ የተጋራ tensor ቅርጸት ይቀየራሉ፣ ይህም ግምገማው በእይታ ግንዛቤ ላይ ወይም ምስሎችን ለመስራት በሚያስፈልገው ምህንድስና ላይ ሳይሆን የአካባቢ ተለዋዋጭ ሁኔታዎችን በመቅረጽ ላይ እንዲያተኩር ያስችለዋል።

በ64 ክፍለ ጊዜዎች ውስጥ፣ ደራሲዎቹ Codex-5.4 እና Claude Opus 4.6 ጀማሪቸውን በ63 ክፍለ ጊዜዎች እንዳሻሻሉ ሪፖርት አድርገዋል። ማጠቃለያው የእነዚያን ማሻሻያዎች መጠን ወይም ስታቲስቲካዊ ጠቀሜታ፣ ክፍለ-ጊዜዎቹ በሁለቱ ስርዓቶች መካከል እንዴት እንደተከፋፈሉ፣ ወይም ተወካዮቹ ተመሳሳይ የመነሻ ሁኔታዎች እንደተሰጣቸው አይገልጽም። እንዲሁም 91% የሚሆኑት የአሸናፊነት አርትዖቶች ቀላል ያልሆኑ የሃይፐርፓራሜትር ለውጦች ሳይሆን በዓላማዎች፣ ውክልናዎች፣ ልቀቶች ወይም አርክቴክቸር ላይ የተደረጉ ለውጦችን ጨምሮ ቀላል ያልሆኑ የምርምር ዓይነት ማሻሻያዎች መሆናቸውን ዘግቧል።

እነዚህ ውጤቶች ደራሲዎቹ ምን እንደተከሰተ ሪፖርት በተደረገው ቤንችማርክ ውስጥ ያረጋግጣሉ፣ ነገር ግን የቀረበው ምንጭ ለአንድ ስሪት-አንድ arXiv ቅድመ-ህትመት ረቂቅ እና መጽሐፍ ቅዱሳዊ ገጽ ነው። አተገባበሩን ፣ የግምገማ ፕሮቶኮሉን ፣ የስሌት ገደቦችን ፣ የስምንቱን አከባቢዎች ማንነት ወይም የክፍለ-ጊዜ-ደረጃ ውጤቶችን በተናጥል ለማረጋገጥ በቂ መረጃ እዚህ አይሰጥም። በምንጩ ላይ ምንም አይነት የይገባኛል ጥያቄ የትኛውም ወኪል ከዚህ ማዋቀር ውጪ ሰፊ አቅም ያለው ራሱን የቻለ ሳይንቲስት መሆኑን ያሳያል።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ማመሳከሪያው በነባር ግምገማዎች ላይ ያለውን ክፍተት ያነጣጠረ ነው፡ የመሻሻል መንገዱ አስቀድሞ ካልተገለጸ AI ስርዓቶች ጠቃሚ የጥናት ውሳኔዎችን ማድረግ ይችሉ እንደሆነ። የእሱ የተዋቀረ-ግዛት ንድፍ ሙከራዎችን ፈጣን ሊያደርግ እና ተለዋዋጭ ሞዴሊንግ ከግንዛቤ እንዲለይ ሊያደርግ ይችላል፣ ነገር ግን ውጤቶቹ ከእውነተኛው ዓለም የስሜት ህዋሳት ውሂብ ጋር ስለሚሰሩ ወኪሎች የሚሉትን ይገድባል። ሪፖርት የተደረገው ግኝቶች ከአንድ arXiv ቅድመ ህትመት የቀረቡ የይገባኛል ጥያቄዎች እንጂ የኮድ ወኪሎች በአጠቃላይ አስተማማኝ ምርምር ማድረግ እንደሚችሉ የሚያሳይ ገለልተኛ ማስረጃ አይደለም።

አብዛኛዎቹ የኮዲንግ-ወኪል ማመሳከሪያዎች የምህንድስና-ወደ-ስፔክ ተግባራትን ያጎላሉ፡ የሚፈለገው ባህሪ አስቀድሞ ይገለጻል፣ እና ስኬት በአብዛኛው ትክክለኛ ትግበራን የማፍራት ጉዳይ ነው። AutoWorldModel-ቤንች የተለየ አቅምን ይገልፃል። ተመራማሪዎች ቀጣዩን ማሻሻያ ባልገለጹበት ቦታ ውስጥ እንዲሠራ አንድ ወኪል ይጠይቃል፣ ይህም ውጤቱ AI ሲስተሞች እንዴት እንደሚያመነጩ፣ እንደሚሞክሩ እና ቴክኒካዊ መላምቶችን እንዴት እንደሚመርጡ ጠቃሚ ያደርገዋል።

የቤንችማርክ ግዛት-ማዕከላዊ ንድፍ ተግባራዊ የመለኪያ ጥቅም ይሰጣል። የተዋቀረ አካል ሁኔታን መጠቀም ወጪን እና ግራ የሚያጋቡ የአመለካከት ተለዋዋጮችን ያስወግዳል፣ይህም አብስትራክቱ በደቂቃዎች ውስጥ መደጋገምን ያስችላል ይላል። ፈጣን ድግግሞሾች የምርምር ስልቶችን ለማነፃፀር፣ ሙከራዎችን ለማባዛት እና ወኪሎች እንዴት ውስን ስሌትን እንደሚጠቀሙ ለማጥናት ቀላል ያደርገዋል። የጋራ የ tensor ውክልና በተለዋዋጭ ሞዴሊንግ ላይ ልዩነቶችን በበርካታ አካባቢዎች የበለጠ እንዲታይ ሊያደርግ ይችላል።

ያ ንድፍ በግኝቶቹ ላይ ጉልህ የሆነ ድንበር ነው። ከመሬት-እውነት የሰለጠነ የአለም ሞዴል ሁኔታን ከካሜራዎች፣ ቋንቋ፣ ዳሳሾች ወይም ያልተሟላ ምልከታዎች መወሰን ያለበት ስርዓት የሚያጋጥመውን ሙሉ ችግር እየፈታ አይደለም። የጨዋታ አከባቢዎች ቁጥጥር የሚደረግባቸው ግብረመልሶች እና ውሱን ውጤቶች ይሰጣሉ፣ እውነተኛ ሳይንሳዊ እና ተግባራዊ ቅንጅቶች ጫጫታ መለኪያዎችን፣ ውድ ሙከራዎችን፣ አላማዎችን እና የደህንነት ገደቦችን ሊያካትቱ ይችላሉ። ስለዚህ የተዘገበው ቤንችማርክ ከአጠቃላይ ራስን በራስ የማጥናት ችሎታን ይለካል።

የወረቀቱ ሪፖርት የተደረገው ተጨባጭ አርትዖቶች መጠን ከቀላል የውጤት ጭማሪ የበለጠ መረጃ ሰጭ ሊሆን ይችላል ምክንያቱም ወኪሎቹ አንዳንድ ጊዜ በምርምር ማዋቀሩ ላይ ለውጦችን እንደሚመርጡ ይጠቁማል። ነገር ግን፣ አብስትራክቱ አርትዖት እንዴት ቀላል እንዳልሆነ፣ ገለልተኛ ገምጋሚዎች ያንን ፍርድ እንደሰጡ፣ ወይም ውስብስብ አርትዖት ለምን ያህል ጊዜ ዘላቂ መሻሻል እንዳመጣ አይገልጽም። በአንድ ቁጥጥር የሚደረግበት አካባቢ የተሳካ ለውጥ የቤንችማርክ አፈጻጸም ማስረጃ ነው፣ አንድ ወኪል የስር ሳይንስን መረዳቱን ወይም በአስተማማኝ ሁኔታ ምርታማ መላምቶችን ከአጋጣሚ ትርፍ እንደሚለይ ማረጋገጫ አይደለም።

ቀጥሎ ምን እንደሚታይ

ዋናዎቹ ጥያቄዎች ማመሳከሪያው ሊባዛ የሚችል ነው፣ የተለካው ማሻሻያዎች ምን ያህል እንደነበሩ እና ውጤቶቹ ተጨማሪ ወኪሎችን፣ አከባቢዎችን፣ በጀት ማስላት እና የመነሻ ሞዴሎችን ይዘዋል ወይ የሚለው ናቸው። አንባቢዎች ስለ የውጤት አሰጣጥ ሂደት፣ ያልተሳኩ ክፍለ-ጊዜዎች፣ የአርትዖት ምርጫ እና ማንኛውም ሰው ወይም የተለመደ-የማሻሻያ መነሻ ዝርዝሮችን መፈለግ አለባቸው። ምንጩ እነዚህ ዘዴዎች ከጨዋታ አከባቢዎች በላይ እንዴት እንደሚተላለፉ ወይም የተወካዮቹ ለውጦች በተለያዩ ውክልና እና የግምገማ ሁኔታዎች ጠቃሚ ሆነው ይቀጥላሉ የሚለውን አያረጋግጥም።

እንደገና መራባት የመጀመሪያው ፈተና ይሆናል። አስፈላጊ ዝርዝሮች ትክክለኛ የጀማሪ ዓለም ሞዴሎች፣ ስምንቱ አካባቢዎች፣ የጋራ ግዛት እቅድ፣ የሂሳብ በጀት፣ የተፈቀዱ ድግግሞሾች ብዛት እና የግምገማ ልኬት ያካትታሉ። ከ64 ክፍለ-ጊዜዎች ውስጥ እንደ 63 ማሻሻያዎች ያሉ አጠቃላይ የይገባኛል ጥያቄዎች በትርፍ፣ በችግር ወይም በውድቀት ሁነታዎች ላይ ትልቅ ልዩነቶችን ሊደብቁ ስለሚችሉ የማመሳከሪያው እና የተሟሉ የሙከራ ምዝግብ ማስታወሻዎች በይፋ መኖራቸውም አስፈላጊ ነው።

ወደፊት የሚደረጉ ግምገማዎች በአብስትራክት ውስጥ ከተጠቀሱት ሁለት ስርዓቶች ያለፈ ንጽጽሮችን ሪፖርት ማድረግ አለባቸው። ጠቃሚ ቁጥጥሮች የሰው ተመራማሪዎችን፣ መደበኛ አውቶሜትድ ሃይፐርፓራሜትር ፍለጋ፣ ቋሚ የምርምር ሂውሪስቲክስ እና ተጨማሪ የኮድ ኤጀንቶችን ያካትታሉ። የእያንዳንዱ ማሻሻያ መጠን እና እርግጠኛ አለመሆን ውጤቶቹ በአከባቢ እና በአርትዖት አይነት መለየት አለባቸው። እነዚያ ንጽጽሮች ከሌሉ፣ ቤንችማርክ የሚለካው የምርምር ዳኝነትን፣ ሰፊ ኮድ አሰጣጥ ብቃትን፣ ምቹ የተግባር መዋቅርን ወይም አንዳንድ ጥምርነትን ይለካ እንደሆነ ለማወቅ አስቸጋሪ ነው።

የምርምር አይነት አርትዖቶች ምደባ ሊመረመር ይገባዋል። አርክቴክቸር፣ አላማ፣ ውክልና እና ልቀት ለውጦች ትርጉም ያላቸው ሊሆኑ ይችላሉ፣ ነገር ግን ውስብስብነት ብቻውን ማስተዋልን አያሳይም። የክትትል ስራ የተመረጡት ማሻሻያዎች በአጠቃላይ ወደተያዙ አካባቢዎች መምጣታቸውን፣ በጀማሪው ሞዴል ላይ ከተደረጉ ለውጦች መትረፍ እና የማስላት በጀት ወይም የድርጊት ቦታ ሲቀየር መከናወኑን መቀጠል አለበት። ከእያንዳንዱ ክፍለ ጊዜ የተገኘውን የአሸናፊነት አርትዖት ብቻ ሳይሆን ሪግሬሽን እና ያልተሳኩ ሀሳቦችን መከታተል አለበት።

በመጨረሻም፣ ብዙም ቁጥጥር ካልተደረገላቸው ቅንብሮች ጋር ስለመሸጋገር አንባቢዎች ማስረጃዎችን መመልከት አለባቸው። ምንጩ በእይታ ምልከታዎች፣ ከፊል መረጃ፣ አካላዊ ሥርዓቶች፣ ሳይንሳዊ የውሂብ ስብስቦች፣ ወይም ሙከራዎች እውነተኛ ወጪዎችን የሚሸከሙ ተግባራትን አፈጻጸምን አይመሰርትም። በተጨማሪም ጥበቃዎችን፣ በወኪል የመነጨ ኮድ እንደገና መባዛትን ወይም አንድ ወኪል በቤንችማርክ የሚጠቀምበትን አደጋ አይመለከትም። እነዚያ ጥያቄዎች እስኪመለሱ ድረስ፣ አውቶወርልድሞዴል-ቤንች አስተማማኝ በራስ ገዝ ሳይንሳዊ ምርምርን ከማሳየት ይልቅ ክፍት የሆነ የሞዴል ማሻሻያ ለማጥናት ትኩረት የሚሰጥ የምርምር መሳሪያ እንደሆነ በደንብ ይረዳል።

ተዛማጅ መመሪያዎች እና ጥያቄዎች