ቤንችማርክ የኮድ ወኪሎች የእውነተኛ ዓለም አገልግሎት ወኪሎችን ለመገንባት ሲታገሉ አገኘ

ምን ተፈጠረ

ተመራማሪዎች τ^τ-ቤንች፣ ከጫፍ እስከ ጫፍ ወኪል መገንባትን ለ AI ኮድ ስርዓቶች ተግባር የሚያደርገውን መለኪያ አስተዋውቀዋል። ማመሳከሪያው የገንቢ ወኪል የንግድ መዝገቦችን፣ የደንበኛ መስፈርቶችን፣ የምርት ኤፒአይን፣ አሁን ያለውን ኮድ ቤዝ፣ እና በሞዴሎች እና በአገልግሎት ወጪዎች ላይ ገደቦችን ይሰጣል፣ ከዚያም የተገኘውን የደንበኛ አገልግሎት ወኪል በተመሰሉት ተጠቃሚዎች ላይ ይገመግማል።

በሴፕቴምበር 4፣ 2026 የቀረበው የarXiv ምንጭ፣ τ^τ-ቤንች የቤንችማርክ ጥያቄዎችን ከመመለስ ይልቅ ወኪሎችን የሚገነቡ የኤአይአይ ሲስተሞችን ለመገምገም እንደ አካባቢ ይገልጻል። የገንቢ ወኪል ንግዱ በትክክል የሚያከማቸው መዝገቦችን፣ ከደንበኛ የሚጠይቁትን፣ ክዋኔው የሚካሄድበት የምርት ኤፒአይ፣ የተወረሰ ኮድ ቤዝ እና ወጪን እና የሞዴል ምርጫን ለማቅረብ ገደቦችን ይቀበላል። የተሟላ የደንበኛ አገልግሎት ወኪል ለማቅረብ እነዚያን ቁሳቁሶች መጠቀም አለበት።

የተገኘው ወኪሉ በተያዙ አስመሳይ ተጠቃሚዎች ላይ በማሰማራት ይገመገማል። በአራት ጎራዎች ከ53 ተግባራት ውስጥ፣ ወረቀቱ እንደዘገበው ጠንከር ያለ አወቃቀሩ-Claude Opus 5 በClaude Code ጥቅም ላይ የዋለው የግምገማ ማስመሰያዎች 23.9% አልፏል። በባለሙያ የተረጋገጠ የማጣቀሻ ጣሪያ 82.2% አስመዝግቧል. በወረቀቱ የተዘገበው እነዚህ ውጤቶች ናቸው; ምንጩ በarXiv ማረፊያ ገጽ ላይ ገለልተኛ ማረጋገጫ አይሰጥም።

ደራሲዎቹ በሰዎች ወኪል ገንቢዎች የሚያጋጥሟቸውን ችግሮች ይመሳሰላሉ የሚሉትን የውድቀት ቅጦችን ለይተው አውቀዋል፡- የንግድ መዝገቦችን በጥልቀት ከመረዳት ይልቅ ጥልቀት የሌላቸው መጠይቆች፣ ከደንበኛው ጋር ያለው ግንኙነት አነስተኛ ነው፣ እና በተወካይ አርክቴክቸር ወይም በወጪ አገልግሎት ላይ በቂ ሙከራ አለማድረግ። መለኪያውን ለኮዲንግ ኤጀንቶች ሊለካ የሚችል ኢላማ መገንባት የትብብር ወኪል ለማድረግ ሙከራ አድርገው ይገልጻሉ።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

መለኪያው በወቅታዊ ግምገማዎች ላይ ያለውን ክፍተት ኢላማ ያደርጋል፡ የ AI ስርዓት በእውነተኛ የደንበኛ ተሳትፎ የተዘበራረቀ ገደብ ውስጥ ጥቅም ላይ ሊውል የሚችል ወኪል ማቅረብ ይችል እንደሆነ። በጠንካራው በተፈተነ ውቅር እና በኤክስፐርት ማጣቀሻ መካከል ያለው ሪፖርት የአፈጻጸም ክፍተት እንደሚያመለክተው ኮድ የማድረግ ችሎታ ብቻ የንግድ መረጃን የመረዳት፣ ከደንበኞች ጋር የመገናኘት፣ የሕንፃ ምርጫዎችን ለማድረግ ወይም የሥራ ማስኬጃ ወጪዎችን ለመቆጣጠር ብቃትን እንደማይፈጥር ያሳያል።

ብዙ ግምገማዎች የአንድን ሞዴል ኮድ የማመንጨት ወይም በጠባብ የተገለጸውን ተግባር የማጠናቀቅ ችሎታን ይለያሉ። τ^τ- ቤንች በምትኩ አንድ ወኪል በተግባራዊ መቼት ውስጥ መሥራት ይችል እንደሆነ የሚወስኑ የውሳኔዎች ሰንሰለት ይፈትሻል፡ ያልተሟላ ድርጅታዊ መረጃዎችን መተርጎም፣ የደንበኛ ፍላጎቶችን ወደ ባህሪ መተርጎም፣ ካለው ሥርዓት ጋር መቀላቀል፣ ሞዴሎችን መምረጥ እና ጥራትን ከወጪ ጋር ማመጣጠን። ያ የተዘገበው ክፍተት ምን ያህል የሰው ምህንድስና እና የግምገማ ወኪል ግንባታ የስራ ፍሰቶች አሁንም እንደሚያስፈልጋቸው ለሚወስኑ ቡድኖች ጠቃሚ ያደርገዋል።

ውጤቶቹ በተጨማሪ የኮድ ኤጀንቶች በ AI ስርዓቶች ዙሪያ የሶፍትዌር-ልማት ስራን ሊተኩ ወይም በራስ ሰር ሊሰሩ ይችላሉ የሚለውን የይገባኛል ጥያቄዎችን ለመመርመር የበለጠ ተጨባጭ መንገድ ያቀርባል። እንደ ምንጩ, የተሞከሩት ስርዓቶች ብዙውን ጊዜ የሚሮጥ ነገር ያመርቱ ነገር ግን የተሳትፎውን ጥልቅ መስፈርቶች ማሟላት አልቻሉም. ስለዚህ መለኪያው ትኩረትን ከኮድ ማመንጨት ብቻ ወደ የተዘረጋው ስርዓት ጥራት እና ከተጠቃሚዎች ጋር ያለውን መስተጋብር ይቀይራል።

ውጤቱ እንደ ወሰን ይቆያል. የማረፊያ ገጹ ስለ ቤንችማርክ ተግባር ግንባታ፣ የአስመሳይ ንድፍ፣ የውጤት አሰጣጥ ሂደት፣ የመነሻ መስመር ምርጫ ወይም የስታቲስቲክስ እርግጠኛ አለመሆን ዝርዝር መረጃ አይሰጥም። በተጨማሪም የ 23.9% ውጤት የምርት ውጤቶችን እንደሚተነብይ አያሳይም. ወረቀቱ የarXiv ቅድመ-ህትመት ነው፣ ስለዚህ የይገባኛል ጥያቄዎቹ ተጨማሪ ምርመራ እና ማባዛት በመጠባበቅ ላይ እንደ የምርምር ግኝቶች መታየት አለባቸው።

ቀጥሎ ምን እንደሚታይ

ወረቀቱ τ^τ-ቤንች ከሌሎች መመዘኛዎች ጋር እንዴት እንደሚነፃፀር፣ የተመሰሉት ተጠቃሚዎቹ ከእውነተኛ ደንበኞች ጋር አፈጻጸምን እንደሚተነብዩ፣ ወይም ውጤቶቹ ከተዘገቡት 53 ተግባራት እና ከአራት ጎራዎች ባሻገር አጠቃላይ መሆናቸውን አላስቀመጠም። ምንጩ የህዝብ ቤንችማርክ መዳረሻን፣ የአተገባበር መስፈርቶችን፣ የዋጋ አወጣጥን ወይም ገለልተኛ ማባዛትን አያስቀምጥም።

ደራሲዎቹ መለኪያውን፣ የተግባር ዝርዝር መግለጫውን፣ የግምገማ ማሰሪያውን እና የማጣቀሻ አተገባበርን መልቀቅ ለዳግም መራባት አስፈላጊ ነው። የምንጭ ገጹ ወረቀቱን ያረጋግጣል እና ወደ ፒዲኤፍ እና ኤችቲኤምኤል ስሪቶች ያገናኛል፣ ነገር ግን ማመሳከሪያው ራሱ በይፋ ተደራሽ መሆኑን አይገልጽም ወይም ማንኛውንም የመዳረሻ ሁኔታዎችን ወይም ዋጋን አይለይም።

ወደፊት የሚደረጉ ግምገማዎች ተጨማሪ ሞዴሎችን፣ ኮድ ሰጪ-ወኪል ሲስተሞችን፣ ጎራዎችን እና የተግባር አይነቶችን መሞከር አለባቸው፣ ነገር ግን አስመሳይ ተጠቃሚዎች እንዴት እውነተኛ የደንበኛ ባህሪን እንደሚወክሉ ግልጽ ናቸው። አሁን ካለው ወኪል፣ ኮድ አሰጣጥ እና የሶፍትዌር-ምህንድስና መለኪያዎች ጋር ማነፃፀር ምን ተጨማሪ አቅም τ^τ-ቤንች እንደሚለካ ለማወቅ ይረዳል።

ሪፖርት የተደረጉት ገደቦች ተግባራዊ የግምገማ መስፈርቶችን ያመለክታሉ፡ ወኪሎች እንዴት ድርጅታዊ መዝገቦችን እንደሚጠይቁ፣ ግልጽ የደንበኛ ግንኙነትን እንደሚፈልጉ፣ አማራጭ አርክቴክቸርን መገምገም እና ከመሰማራቱ በፊት የአገልግሎት ወጪን ይቆጣጠሩ። ምንጩ የገሃዱ ዓለም ማሰማራትን፣ የደንበኛ ውጤቶችን ወይም የደህንነት ጉዳዮችን አይዘግብም፣ ስለዚህ ውጤቶቹ አይታወቁም።

ተዛማጅ መመሪያዎች እና ጥያቄዎች