Maxaa dhacay
Daabacaadda hore ee arXiv waxay soo bandhigaysaa SWE-bench Science, oo ah heerka kaydinta ee daboolaya 119 hawlood oo ka socda 98 GitHub kayd 20 saynis ah. Qorayaashu waxay soo tebiyeen in wakiilka ugu waxqabadka wanaagsan ee qiimayntooda, Claude Code oo leh Opus-5 (max), uu ku guulaystay baas@1 ka hooseeya 50%.
Waraaqdu waxa ay falanqaynteeda ku tilmaantay afar hab oo guuldarro oo soo noqnoqda. Kuwani waa cillado xagga aqoonta sayniska ah ama soo saarista; sahaminta khaldan ama hagaajinta heerka dusha sare; caymiska dayactirka oo aan dhamaystirnayn ama nidaamka isdhexgalka; iyo ku guuldareysiga in la soo koobo aqoonta sayniska ee ka baxsan kiisaska la arkay. Isku soo wada duuboo, tixdani waxay qeexaysaa afar siyaabood oo kala duwan oo dayactirku u gaabin karo: wakiilku waxaa laga yaabaa inuu waayo fahamka cilmiyeed ee la xidhiidha, uu raaco waddo aan ku filnayn ama dusha sare leh, uu ku guuldareysto inuu wax ka qabto dhammaan dayactirka ama isku dhafka, ama uu ku guuldareysto inuu aqoon ka qaato kiisas uu arkay ilaa kiisas ka baxsan. Isha waxay soo bandhigaysaa kuwan habab soo noqnoqda marka la eego falanqaynteeda, sidaas darteed waxay qayb ka yihiin xisaabaadka warqadda ee guul-darrida halkii ay ka ahayd sheegashada in hawl kastaa ay soo bandhigto farsamo kasta.
Qorayaashu waxa kale oo ay sameeyaan aflagaado lammaane ah oo meesha ka saaraya hagitaan cilmiyeed oo cad iyada oo la ilaalinayo kaydka iyo macnaha injineernimada la fulin karo. Isbarbardhigga sidaas darteed wuxuu hayaa keydka iyo macnaha injineernimada la fulin karo iyadoo la beddelayo joogitaanka hagitaan cilmiyeed cad. Habayntaas waxa loo isticmaalaa in lagu baaro waxa dhacaya marka qaybta hagista laga saaro xaalad hawleed kale oo la hayo. Waxay go'doomisay doorka loo qoondeeyay hagida isbarbardhigga la sheegay, iyada oo aan la beddelin sharraxaadda hawlaha bartilmaameedka ama lagu darin natiijo wakiil gaar ah. Qodobka ugu muhiimsan ee xisaabta warqadu waa farqiga u dhexeeya sii haynta macnaha injineernimada iyo ka saarida hagida sayniseed ee cad.
Waxay soo sheegaan in hagitaan si fiican loo saleeyay ay xannibi karto dayactirka oo ay wanaajin karto waxqabadka celceliska ah iyo hufnaanta calaamadda, halka hagidda liidata ay sababi karto xannibaad oo aanay daruuri ahayn hagaajinta guusha dayactirka saxda ah. Sidaa darteed, saamaynta la soo sheegay waa shuruudo halkii ay ka ahaan lahayd mid isku mid ah oo togan: hagiddu waxay noqon kartaa mid faa'iido leh marka ay si fiican u qotonto, laakiin hagida si liidata u toosan waxay hagaajin kartaa hagaajinta iyada oo aan la soo saarin guul hagaajin sax ah. Natiijadu waxay khusaysaa waxqabadka celceliska ah iyo hufnaanta calaamada iyo sidoo kale guusha dayactirka saxda ah, ishana waxay kala saartaa natiijooyinkaas halkii ay ku daaweyn lahayd sidii kuwo la beddeli karo. Tani waa shahaada buuxda ee ku lifaaqan natiijada hagidda qoraalka la keenay.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Software-ka sayniska wuxuu u shaqayn karaa qayb ka mid ah qalabka loo isticmaalo in lagu soo saaro caddaynta. Halbeeggu waxa uu soo jeedinayaa in wakiilada codaynta ay la kulmaan caqabado ka baxsan hagaajinta koodhka caadiga ah, oo ay ku jiraan sababaynta sayniska, daboolida dayactirka ballaadhan, nidaamka is dhexgalka, iyo adeegsiga aqoonta kiisaska aan la aqoon.
Nadiifinta hagitaanku waxay sidoo kale adkeynaysaa malo-awaalka ah in lagu daro macluumaad cilmiyaysan oo badan ay si toos ah uga dhigayso wakiilka mid badbaado leh ama saxsan. Sida laga soo xigtay isha, hagitaan waxtar leh ayaa hagaajiyay waxqabadka celceliska iyo hufnaanta calaamada, laakiin hagida liidata ee la jaanqaadi karo waxay adkeyn kartaa habka dayactirka oo ay ku guuldareysato inay hagaajiso guusha dayactirka saxda ah. Macnuhu maaha in macluumaadka cilmigu aanu qiimo lahayn; waa in qiimaheedu uu ku xidhan yahay sida hagistu ugu habboon tahay hagaajinta la isku dayeyo. Sidaa darteed isha ayaa akhristaha uga tagtaa natiijo shuruudaysan: isla dhaqanka guud ee bixinta hagitaanku waxa lala xidhiidhin karaa hagaajinta xaaladaha qaarkood iyo ku xidhidhaynta iyada oo aan hagaajin sax ah lagu samayn kuwa kale.
Helitaankani waxa uu saamayn wax ku ool ah ku leeyahay dadka bixiya qoraalada domainka, soo saara sharaxaada, ama sharaxida wakiilada codaynta. Qalabkaasi waa qaabab hagitaan cilmi ah oo ku salaysan dareenka ballaadhan ee loo isticmaalo dooddu, sidaas darteed ka-saarku wuxuu ka dhigayaa tayadoodu oo ku habboon tahay habka dayactirka. Qoraal, sharraxaad, ama sharraxaad ayaa laga yaabaa in loogu talagalay in lagu caawiyo xakamaynta dayactirka, laakiin natiijada la soo sheegay waxay ka dhigan tahay in joogitaanka walxahan oo kale kaliya kuma filna in la dhiso guul sax ah oo sax ah. Farqiga khuseeya ayaa u dhexeeya hagitaan faa'iido leh oo si fiican ugu habboon hawsha iyo hagidda aan si liidata ula socon. Kala soocidaasi waxay raacdaa xisaabaadka isha ee waxqabadka, hufnaanta calaamada, xidhidhiyaha, iyo guusha dayactirka saxda ah.
Hagitaanku waxa laga yaabaa inay ku caawiyaan marka ay sax tahay oo si fiican ugu habboon tahay hawsha, halka macnaha dheeraadka ah ay weli u jihayn karto wakiilka hagaajinta khaldan. Warqaddu kama tuseyso qoraalka la taaban karo inta jeer ee natiija kastaa dhacday. Sidaa awgeed, qoraalka la keenay waxa uu taageeraa tarjumaad u qalma halkii uu ka ahaan lahaa xeer guud oo ku saabsan macnaha guud: waxa uu diiwaangeliyaa horumar suurtagal ah iyo ku xidhidh suurtogal ah, iyada oo ka tagaysa inta jeer ee natiijooyinkaas aan la cayimin. Muhiimadda natiijadu waxay ku jirtaa xaaladdaas aan la xallin. Waa isku toosinta hagida, ee ma aha oo kaliya jiritaanka erayo badan oo hawsha ku xeeran, in dooda ay tilmaamayso in ay khusayso hab-dhaqanka la soo sheegay.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
What most distinguishes an AI agent from a basic chatbot?
Maxaa la daawan doona xiga
Warqadda buuxda ayaa loo baahan yahay si loo qiimeeyo isku dhafka shaqada, isbarbardhigga wakiilka, borotokoolka qiimeynta, iyo buundooyinka saxda ah. Su'aalaha furan ee muhiimka ah waxaa ka mid ah sida ay wakiillada u yihiin kaydinta, haddii natiijooyinka u wareejinta qulqulka shaqada sayniska ee nool, iyo sida hagitaan saynis ah oo la isku halleyn karo ay u hagaajiso dayactirka iyada oo aan sababin xannibaad.
Natiijada hagitaanku waxay mudan tahay in si dhow loo eego qiimaynaha mustaqbalka. Isha ayaa ka warbixisa celceliska waxqabadka iyo waxtarka calaamadaynta, laakiin aan la taaban karin ma xisaabinayso hagaajinta, ma qeexdo waxa loo tiriyo hagitaan si fiican u dhisan ama liidata, ama tusin in saamayntu ku kala duwan tahay qaybta sayniska ama jaantuska hawsha. Maqnaanshahan ayaa tilmaamaya macluumaadka gaarka ah ee weli loo baahan yahay si loo tarjumo natiijada: cabbirka isbeddelka la soo sheegay, shuruudaha labada sharraxaad ee hagitaan, iyo inta ay saameyntu ku kala duwan tahay qaybaha ama jaantusyada. Ilaa dhibcahaas la heli karo, hagitaanku wuxuu ahaanayaa natiijo u qalma oo ka timid akoontada la bixiyay halkii laga ahaan lahaa cabbir si buuxda loo cayimay.
Waxa kale oo aan la garanayn in waxqabadka bar-tilmaameedka sare uu horseedayo gunaanad cilmiyeed la isku halayn karo oo ficil ahaan ah. Natiijo ka wanaagsan heerka cabbirka iyo gabagabada la isku halayn karo sidaas darteed looguma soo bandhigin natiijooyin u dhigma qoraalka la soo gudbiyay. Su'aasha furan waxay khusaysaa ka wareejinta waxqabadka la qiyaasay ee sariirta tijaabada oo loo beddelo shaqada cilmiyeed ee ficil ahaan, oo ay ku jirto in natiijada bartilmaameedku ay wax ka sheegayso isku hallaynta gabagabada. Qabyo-qoraalkani ma keenayo caddayn xalinaysa su'aashan, sidaa awgeed waxa ay ahaanaysaa shay la daawado iyada oo ay weheliso tafaasiisha burinta hagidda iyo qiimaynteeda.
Daabacaadda hordhaca ah waxay soo bandhigaysaa gogosha tijaabada ee lagu baranayo koodh-wakiilada awoodaha iyo guul-darrooyinka; kama muujinayso qoraalka la keenay, keenista badbaado leh, sahan cilmiyeed madax-banaan, ama horumarin la xaqiijiyay oo lagu sameeyay cilmi-baadhista la daabacay. Xuduudahaas ayaa qeexaya waxa laga qiyaasi karo iyo waxa aan laga qiyaasi karin daabacaadda sida halkan lagu sharaxay. Sariirta la tijaabiyay waxa laga eegi karaa waxa ay muujinayso ee ku saabsan kartida iyo guuldarrooyinka, halka sheegashooyinka xooggan ee ku taxan jumlada ay yihiin kuwo aan caddayn qoraalka la soo gudbiyay. Sidaa darteed dareenka mustaqbalka waa inuu ku sii jirayaa halbeegyada la sheegay iyo natiijooyinka hagidda, adoon ula dhaqmin sida caddaynta badbaadada dirida, daahfurka madaxbannaan, ama horumarinta cilmi-baarista la daabacay.