Xiga xigaHagaha xiga
SWE-bench iyo Astaamaha Wakiilka Codaynta
Farsamo
HAGAHA Farsamada
Qiimaynta Wakiilada AI
Qiimaynta wakiilada AI waxay la macno tahay in la qiyaaso sida ugu wanagsan ee nidaamka talaabooyinka badan u gaadho yoolalka goobaha dhabta ah.
Dhageyso hagahanAI-waa laga sheekeeyay · ~3 min
Boggaan4 daqiiqo akhri
Dulmar
Taasi waxay khusaysaa in ay hawshii dhammaysay iyo in kale, in dariiqii loo maray ay ahayd mid caqli-gal ah, in ay si sax ah u adeegsatay agabka, kharashka ku baxay iyo in ay ammaan ku sugnayd. Wakiiladu waxay u dhaqmaan talaabooyin badan waxayna leeyihiin waxyeelooyin, markaa hubinta hal jawaab oo ka soo horjeeda tixraaca kuma filna, qiimeynta wanaagsanna waxay inta badan ku socodsiisaa wakiilka gudaha deegaan la xakameeyey oo kormeera xaaladda ugu dambeysa.
quusid qoto dheer
Qiimaynta wakiilku waxay eegtaa dhawr shay. Guusha hawshu waxay waydiinaysaa in yoolkii dhab ahaantii la gaadhay iyo in kale, si fiican loo hubiyay iyadoo la eegayo deegaanka ka dib: imtixaanadu way gudbaan, diiwaanka saxda ah ayaa jira, feylku wuxuu leeyahay waxa saxda ah. Tayada jihada ayaa waydiisa haddii tillaabooyinka ay ahaayeen kuwo macquul ah, oo aan lahayn wareegyo, wicitaanno aan macno lahayn ama malo nasiib leh. Isticmaalka qalabku waxa uu hubinayaa in wakiilku uu soo xushay qalabkii saxda ahaa ee doodaha saxda ahaa iyo in la xaliyay khaladaad. Qiimaha iyo calaamadaha raadraaca daahitaanka, wicitaanada iyo wakhtiga gidaarka. Badbaadadu waxay hubisaa in wakiilku ka fogaaday falalka waxyeellada leh ama aan la oggolayn oo uu iska caabiyay duritaanka degdegga ah. Tilmaamaha deegaan-ku-salaysan waxay noqdeen hab hormood ah. SWE-bench, oo ka socota cilmi-baarayaasha Princeton, waxay waydiisaa wakiilada si ay u xalliyaan arrimaha GitHub ee dhabta ah oo ay ku hubiyaan natiijooyinka imtixaannada mashruuca, iyo SWE-bench Verified waa qayb hoose oo bini'aadmigu hubiyay. WebArena waxa ay siisaa mareegaha iskood u maamula ee hawlaha baadhashada. OSWorld waxay tijaabisaa wakiilada ku shaqeeya miisaska kombayutarka oo buuxa. GAIA waxay soo bandhigtaa su'aalo u baahan cilmi-baaris iyo qalabyo dhowr tallaabo ah. Tau-bench suite waxa ay isku ekaysiiyaan isticmaalayaasha iyo siyaasadaha domainka, waxayna soo bandhigtay cabirka pass^k kaas oo waydiinaya in wakiilku ku guulaysto isku dayo kasta oo soo noqnoqda. Qiimayntu waxay isticmaashaa saddex nooc oo jeegag ah: hubinta kood ku salaysan natiijooyinka, kuwaas oo sax ah oo jaban; buundooyinka moodeelka ku salaysan ee keena qoraallada qoraallada, kuwaas oo dabacsan laakiin u baahan in laga eego xukunka aadanaha; iyo dib u eegis aadamaha, oo ah kan ugu kalsoonida badan uguna gaabis badan. Khaladka guud waa in la aamino sabuuradaha dadweynaha oo keliya. Bartilmaameedyada waxay ku daadan karaan xogta tababarka, waxay noqon karaan kuwo buuxa, ama ku guuldareysta inay u ekaadaan culeyska shaqadaada. Qalad kale ayaa loola dhaqmayaa mid run ah, maadaama wakiilladu yihiin kuwo aan la go'aamin oo kala duwanaansho yar oo heerka guusha ah waxay noqon kartaa buuq. Kooxuhu waxay ka helayaan qiimaha ugu badan ee qiimaynta gaarka ah ee laga dhisay hawlahooda dhabta ah iyo guul-darrooyinka, si isdaba joog ah ayay u ordaan oo la raad raacdo waqti ka dib.
Dhaqangelinta Adduunka-dhabta ah
Kooxda wakiilka-koodka waxay dhaliyaan isku day kasta haddii imtixaanada qarsoon ee kaydka ay dhaafaan balastar wakiilka, sida SWE-bench sameeyo, halkii ay ka xukumi lahaayeen in kala duwanaanshuhu u muuqdo mid sax ah.
Wakiilka adeegga macmiilku wuxuu ka hor imanayaa isticmaalayaasha la isku daray iyo kaydka kaydinta jeesjeeska. Ardaydu waxay hubiyaan in xogta xogta ugu dambaysa ay la mid tahay natiijada saxda ah iyo in wakiilku raacay siyaasadda lacag celinta.
Kooxda injineeradu waxay waddaa hawl kasta shan jeer waxayna ka warbixiyaan inta jeer ee wakiilku ku guuleysto dhammaan shanta, taas oo soo bandhigaysa dabeecad qallafsan oo heerka guusha hal-orod ah qarin doono.
Shirkaddu waxay ku dartay qol badbaado oo ay hawluhu ku jiraan tilmaamo la beeray oo lagu tirtirayo faylalka ama xogta daadsan, waxayna u xisaabinaysaa orod kale oo guul leh haddii uu wakiilku addeeco.
Mustaqbalka Qiimaynta Wakiilada AI
Marka ay wakiiladu qabtaan hawlo dheer, qiimayntu waxay u socotaa aragti dheer, bay'ad waaqici ah, iyo cabbirada isku halaynta iyo kharashka iyo sidoo kale awoodda ugu sarreysa. Dheefta heerka cabbirka iyo faddaraynta waxay u badan tahay inay sii wadi doonto inay ku riixdo horumariyeyaasha si ay u abuuraan hawlo cusub iyo inay aad ugu tiirsanaadaan si gaar ah, qaybaha tijaabada gaarka ah ee domainka. Badbaadada iyo qiimaynaha amniga, oo ay ku jiraan iska caabinta duritaanka degdega ah, ayaa helaya fiiro gaar ah marka wakiiladu helaan nidaamyada dhabta ah. Ma jiro halbeeg la isku raacsan yahay oo lagu qiimeynayo dabeecadda furan ee wakiilka, sidaas darteed isku darka hubinta natiijada, darajooyinka moodeelka la saxay iyo dib u eegista aadanaha waxay u badan tahay inay ahaan doonto dhaqan caadi ah.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Evaluating AI Agents quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
Waa maxay Qiimaynta Wakiilada AI?
Qiimaynta wakiilada AI waxay la macno tahay in la qiyaaso sida ugu wanagsan ee nidaamka talaabooyinka badan u gaadho yoolalka goobaha dhabta ah. Taasi waxay khusaysaa in ay hawshii dhammaysay iyo in kale, in dariiqii loo maray ay ahayd mid caqli-gal ah, in ay si sax ah u adeegsatay agabka, kharashka ku baxay iyo in ay ammaan ku sugnayd. Wakiiladu waxay u dhaqmaan talaabooyin badan waxayna leeyihiin waxyeelooyin, markaa hubinta hal jawaab oo ka soo horjeeda tixraaca kuma filna, qiimeynta wanaagsanna waxay inta badan ku socodsiisaa wakiilka gudaha deegaan la xakameeyey oo kormeera xaaladda ugu dambeysa.
Waa maxay sababta hubinta hal jawaab oo kama dambaysta ah inta badan kuma filna wakiilada?
Ficilada dhowr-tallaabo ah waxay beddelaan jawiga, markaa waxaad u baahan tahay inaad hubiso waxa dhab ahaantii dhacay iyo sida, ma aha oo kaliya qoraalka u dambeeya.
Sidee buu SWE-bench u xukumaa in wakiilku xaliyay arin?
Jeegaga ku salaysan deegaanka, halkan imtixaanada mashruuca, waxay qiimeeyaan in hagaajintu run ahaantii shaqaynayso.
Muxuu cabbiraa qaabka baaska ^k?
Baahida guusha dhammaan isku dayada k waxay cabbirtaa joogtaynta, taas oo muhiim u ah wakiilada loo diro isticmaaleyaasha dhabta ah.
cabbirkee ayaa calaamadin doona wakiilka ku guulaysta laakiin u qaada konton tillaabo shaqo shan tallaabo ah?
Jeegaga daba-galka ahi waxa ay xukumaan dariiqa loo maray, qabashada wareegyada iyo qashinka natiijada ka soo baxda hubinta kaligeed.
Waa maxay daciifnimada la og yahay ee fasalada ku salaysan moodeelka?
Darajooyinka moodeelku way dabacsan yihiin laakiin waa in laga eego si ka soo horjeeda xukunka bini'aadamka oo loo daawado eex nidaamsan.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan