Maxaa dhacay
Cilmi baadhayaashu waxay soo bandhigeen RestoreBench, oo ah halbeeg lagu tijaabinayo in nidaamyada AI ay baari karaan oo ay xallin karaan kiisaska qulqulka awoodda ee ku guuldareysta inay isku yimaadaan. Halbeeggu waxa uu qiimeeyaa saddex qaab nashqado-chatbots, wakiillo keli ah iyo nidaamyo wakiillo badan ah—oo u dhexeeya laba shabakadood oo koronto ah, oo leh 46 kiis shabakad kasta. Kiis kastaa wuxuu u baahan yahay hal ama in ka badan oo ficilo sax ah, sida ku cad warqadda la taaban karo.
Warqadda, oo loo gudbiyay arXiv Agoosto 31, waxay soo bandhigaysaa RestoreBench oo ah halbeeg loogu talagalay wakiilada-qaababka-luqada-weyn ee ka shaqeeya kiisaska qulqulka awoodda ee aan isku-dhafan. Qorayaashu waxay ku sifeeyeen hawsha inay tahay mid u baahan xukun injineernimo, tijaabin iyo go'aan ka gaadhid gudaha goobaha waxqabadka xaddidan. Marka la eego halbeegga, nidaamka AI waa inuu tarjumaa natiijooyinka dhexdhexaadka ah oo si isdaba joog ah u doortaa ficillada sixitaanka ee loogu talagalay in lagu soo celiyo isku xirnaanta. Isha ayaa tan u soo bandhigaysa codsi aan si weyn loo sahamin ee wakiilada LLM, halkii ay ahaan lahayd nidaam la diray ama badeecad hawleed oo dhamaystiran.
RestoreBench waxay is barbardhigtaa saddex qaab-dhismeed: chatbot, wakiil keli ah iyo nidaamka wakiillada badan. Qoraalku ma qeexayo hirgelinta gudaha ee naqshadahaas, magaca noocyada luqadda ee la tijaabiyay ama sharax sida ay nidaamyadu uga helaan jawaab-celinta jawiga jilitaanka. Waxay qeexaysaa in bartilmaameedku qeexayo jawiga jilitaanka, booska fiirsashada, booska waxqabadka iyo cabbirada qiimaynta. Qeexitaannadaas waxaa loogu talagalay in lagu sameeyo tijaabooyinka kuwo dib loo soo saari karo iyo in la siiyo cilmi-baarayaasha aasaaska guud ee horumarinta iyo isbarbardhigga nidaamyada qorsheynta-nidaamka awoodda iyo hawlgalka.
Qiimayntu waxay dabooshaa laba korantada iyo 46 kiis oo shabakad kasta. Isha ayaa sheegaysa in kiis kastaa uu u baahan yahay ugu yaraan hal tallaabo oo sixid ah si loo soo celiyo isku xidhnaanta, laakiin ma liis garayso kiisaska, ma aqoonsanayso moodooyinka xadhkaha goostay, ma sifayn waxqabadyada jira ama ma bixinayso tirakoobka natiijada qoraalka la keenay. Qorayaashu waxay kaloo sheegeen in kood la heli karo. Sidaa darteed isha ayaa dejisa sii deynta bartilmaameedka iyo baaxaddeeda la sheegay, laakiin ma dejinayso in nidaamyada AI ee la tijaabiyay ay si guul leh u xalliyaan kiisaska ama in bartilmaameedku uu ka tarjumayo xaaladaha buuxa ee kala duwan ee la kulmay nidaamyada awoodda dhabta ah.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Shaqadu waxay diiradda saartaa qiimaynta AI ee hawsha injineernimada ee khaaska ah halkaas oo nidaamyadu ay tahay inay turjumaan natiijooyinka dhexdhexaadka ah, u qorsheeyaan si isdaba joog ah oo ay uga dhex shaqeeyaan meelo ficil ah oo xaddidan. Marka la qeexo deegaan, indho-indhayn, waxqabadyo iyo cabbir qiimayn, qorayaashu waxay yiraahdeen RestoreBench waxay bixisaa saldhig la soo saari karo oo lagu barbar dhigo nidaamyada AI ee wakiilka ah ee loogu talagalay qorsheynta-nidaamka awoodda iyo hawlgalka.
Muhiimada dhabta ah waxay ka timaadaa nooca go'aanka bartilmaameedka loo qorsheeyay in lagu cabbiro. Hawshu kuma koobna soo saarista jawaab qoraal ah: wakiilku waa inuu tarjumaa natiijada ka soo baxda jilitaanka, sabab uga dhiga waxqabadyada suurtogalka ah iyo inuu ku dhaqmo go'aan doorasho oo xaddidan. Taasi waxay ka dhigaysaa halbeeg la xidhiidha fasalka codsiyada AI kaas oo faa'iidada moodalku ay ku xidhan tahay isku xigxiga go'aannada iyo cawaaqibka go'aamadaas, halkii ay ka ahaan lahayd hal jawaab oo lagu xukumo erey ama xaqiiqo.
Tijaabada dib loo soo saari karo waxay kaa caawin kartaa kala soocida sheegashooyinka ku saabsan awooda injineernimada wakiilnimada iyo bandhigyada lagu dhisay hal tusaale gacmeed. Qaab dhismeedka la sheegay ee RestoreBench wuxuu siinayaa cilmi-baarayaasha deegaan qeexan, indho-indhayn, ficillo iyo cabbiro, halka 92 kiis ay bixiyaan tijaabo ka weyn tan bandhig hal mar ah. Isbarbardhigga chatbot, hal wakiil iyo naqshadaha wakiilada badan ayaa sidoo kale laga yaabaa inay caddeeyaan in iskudubarid wakiil oo dheeri ah ay hagaajinayso natiijooyinka hawshan gaarka ah. Kuwani waa faa'iidooyinka suurtagalka ah ee naqshadeynta bartilmaameedka; isha ma soo sheegto caddaynta in hal dhismo uu ka sarreeyo.
Mawduuca ayaa leh muhiimad dadweyne iyo mid la taaban karo sababtoo ah bartilmaameedku wuxuu bartilmaameedsanayaa qorsheynta nidaamka awoodda iyo hawlgalka, meelaha faragelinta qaldani ay muhiim u tahay wax ka baxsan soo-saarka qoraalka moodeelka. Isla mar ahaantaana, warqaddu waa daabacaad, ilaha la keenayna kuma jiraan ansaxinta madaxbannaanida, hawlgelinta hawlgelinta, isbarbardhigga aadanaha iyo injineernimada ama falanqaynta badbaadada. Halbeeggu wuxuu ka dhigi karaa qiimeynta mid aad u anshax leh iyada oo aan la caddaynin in wakiilka AI uu xakameeyo kaabayaasha dhabta ah. Wax ku biirinteeda degdega ah waa qaab-dhismeedka lagu tijaabinayo su'aashaas, ma aha caddaynta in dib-u-soo-celin madax-bannaani ay diyaar tahay.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Maxaa la daawan doona xiga
Isha la keenay kama warbixiso waxqabadka isbarbardhigga, ma tilmaamto LLM-yada la qiimeeyay, si faahfaahsan uma sharaxdo tallaabooyinka sixitaanka ama ma cadda in nidaam kastaa uu diyaar u yahay isticmaalka hawlgalka. Su'aalaha soo socda ee muhiimka ah ayaa ah in wakiilladu ay si isku hallayn ah u soo celiyaan isku dhafka, inta jeer ee ay doortaan ficillada aan badbaadada lahayn ama aan waxtarka lahayn, haddii natiijadu tahay mid guud oo ka baxsan labada shabakadood iyo haddii injineeradu xisaabin karaan sababaha iyo faragelinta.
Arrinka ugu horreeya ee aan la xallin waa waxqabadka. Nuqulku wuxuu leeyahay bartilmaameedku wuxuu qiimeeyaa LLM-yo badan iyo qaab-dhismeedyo, laakiin ma bixiso dhibco, heerarka guusha, qaababka guuldarrooyinka ama isbarbardhigga. Warqada buuxda ama koodka la socda ayaa u baahan doona inuu muujiyo inta jeer ee nidaamyadu soo celiyaan isku xirnaanta, inta ficil ee ay u baahan yihiin iyo haddii ay aqoonsan karaan marka faragelinta la soo jeediyay ay tahay mid aan waxtar lahayn. Natiijooyinkaas la'aanteed, isha ma taageeri karto gabagabada ku saabsan qaabka ama qaab-dhismeedka sida ugu fiican u shaqeeya.
Daboolista bartilmaameedku sidoo kale waxay u baahan tahay baaritaan. Kaliya laba shabakadood iyo 46 kiis shabakad kasta ayaa la aqoonsaday, ishaduna ma sharraxayso sida ay wakiil u yihiin, sida ay kiisasku u adag yihiin ama haddii xaaladaha ay ku jiraan xaalado aan caadi ahayn. Qiimaynta mustaqbalka waa in ay tijaabiso in natiijadu u gudubto qaab dhismeedka shabaqyada kale iyo xaaladaha hawlgalka. Waxa kale oo ay faa'iido u yeelan lahayd in la ogaado in goobta ficilku ay ka reebayso faragelinta jireed ee aan macquul ahayn iyo sida bartilmaameedku u maareeyo kiisaska kuwaas oo in ka badan hal waddo oo sax ah la heli karo.
Ugu dambayntii, su'aalaha hawlgelinta ayaa weli furan. Isha ma sheegayso in wakiil kasta uu ku xidhan yahay nidaamka awoodda nool ee socodka shaqada, haddii bini'aadamku ay tahay inuu ansixiyo ficil kasta ama sida go'aamada nidaamyada loo hubin karo. Sidoo kale kama warbixiso adkaanta fiirsashada khaldan, macluumaadka aan dhamaystirnayn ama xaaladaha nidaamka beddelka. Sheegashada qorayaasha ee ah in RestoreBench ay taageerto cilmi baarista qorsheynta iyo hawlgalka waa in sidaas darteed loo akhriyaa bayaan ku saabsan isticmaalka bartilmaameedka loogu talagalay, ee maaha caddayn ahaan isku halaynta shaqada.