Ci bi mu melGis bi ci topp
IFEval ak topp tegtal yi
Xarala
GUIDE teknik
SWE-bench benn référence la buy saytu ndax sistem IA mën na saafara jafe-jafe GitHub dëgg ci soppali benn codebase Python suko defee test yi projet bi def ci boppam jàll.
Déglul tegtal biiIA-nettali · ~3 min
Dafa am solo ndax bokk na ci nattukaayi agent coding yiñ gëna wax, te poñ yi mu am yomb nañu lire te xamoo ni liggéey yi, scaffolds agent yi ak test checks yi di doxee.
SWE-bench Carlos Jimenez ak ay naataangoom ñoo ko dugal ci Princeton ci 2023 ba noppi ñu siiwal ko ci ICLR 2024. Dafa am 2,294 misaali liggéey yuñ jëlee ci 12 dencukaay yu ñuy jëfandikoo bu baax, boole ci Dympjango, laaj. Bépp misaal dafay boole ab jafe-jafe GitHub ak laaj pull bi ko saafara. Sistem bi ñuy saytu dafay jot mbindu jafe-jafe bi ak dencukaay bi nimu meloon balaa defar bi, te dafa wara defar benn patch. Njortu dafay jëfandikoo test yi bawoo ci laaj pull bi njëkk. FAIL_TO_PASS test yi jàllul laataa ñuy defar nit ñi, ñu jàll ci ganaw ga, kon dañu xool ndax jafe-jafe bi jeexna. PASS_TO_PASS test yi jàll nañu laata ak ginaaw, kon dañu xool ndax dara yàquwul. Benn instance dafay jàpp ni amna luñu ko saafara sudee ñoom ñépp jàll nañu, te nimero boppu bi mooy pursàntaasu saafara gi. Bi ñuy genne, model yi gëna baax mënu ñu saafara yenn liggéey ci teemeer boo jél. Ñaari ensemble yu ndaw ñoo am solo. SWE-bench Lite amna 300 misaal yuñ tànn ngir gëna xéewale ak gëna mëna demal boppam. SWE-bench Verified, bi OpenAI génne ci 2024 ak bindkati SWE-bench, amna 500 misaal yu ingenieur nit ñi xool ngir dindi ay tegtal yu leerul wala ay test yuy bañ ay pexe yu baax. Verified mooy xaaj biñ gëna siif leegi. Njortu yi dañuy wane model bi ak scaffold bi, prograam bi koy may mu xool ay fichier, def ay komand ak soppali kode. SWE-agent bu bawoo Princeton ak gasoduk Agentless, biy lokalise, defar ak saytu te amul benn loop agent bu ubbeeku, misaal yu siiw lañu. Benn model mën na am poñ yu wuute lool ci scaffold yu wuute. Juumte yu bari: ensemble bi njëkk mooy Python-only te dafay muur fukk ak ñaari dencukaay; jàll ci examen yi garantiwul ni kode bi dina mëna wéy; dencukaay yi ak defar yi ñépp bokk, kon kontaminasioŋ mën na am; ak resultaa yi bawoo ci jéem yu bari mënoo leen méngale ak yi bawoo ci benn jéem. Référence yi ci méngoo lu ci melni SWE-banc lakk yu bari, SWE-Lancer ak Terminal-Banc sond yeneen làkk, liggéey ci sa bopp ak liggéey ci liiñ komand.
Liggéey dafay jox ab ndawu liggéey ab jafe-jafe Django buy leeral doxalin bu jaarul yoon boole ci xool dencukaay bi ci commit bi laata defar bi; agent bi dafa wara bind benn patch, suko defee ñu jàngat ko ci test yi fix bi nit ñi njëkka def ñu jàll.
Jaaykat bi dafay xamle poñ yiñ firndeel ci SWE-bench ci jëfandikoo harness agent boppam ak jéem yu bari ci liggéey bu nekk; jëndkat bi dafa wara xool bu baax ndax benn yoon kese la am déet balaa mu koy méngale ak nimero beneen jaaykat.
Benn ekipu ingenieur dafa tabax benn set bu nuroo ak banc SWE ci biir, ci ay dencukaay boppam, ba noppi ñu defar ay këyit ngir xool ndax ab ndawu liggéey bu am rang bu baax ci mbooloo mi, dafay liggéey ci seen kode.
Gëstukat yi dañuy jëfandikoo SWE-bench Multimodal, fu jafe-jafe yi bawoo ci projet yu njëkk yu JavaScript ba noppi dañuy faral di boole ay nataali bug yuñy xool, ngir natt mën-mën yi Python-only mënul natt.
Bi poñ yi gëna mag ci SWE-bench Verified di yokk, benchmark bi dafay tàqale sistem yi gëna néew lu leer, ba noppi bàyyi xel ci liggéey yu bees ak jafe-jafe yu bees, làkki prograam yu gëna gudd, liggéey bu gëna gudd ak rapoor ci njëg ak wóor. Kontaminasioŋ nekk na jafe-jafe buy yàgg ndax dencukaay yi ñépp bokk lañu, te loolu dafay baax ci benchmark yiy yokk liggéey yu bees. Ngir ekip yiy tànn jumtukaay, tablo njiit yi ñépp bokk mooy barab bi ñuy tàmbalee; test agents ci seen codebases bopp ak tickets nekk siñaal bi gëna wóor.
Bulletin bu amul fayda
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
SWE-bench benn référence la buy saytu ndax sistem IA mën na saafara jafe-jafe GitHub dëgg ci soppali benn codebase Python suko defee test yi projet bi def ci boppam jàll. Dafa am solo ndax bokk na ci nattukaayi agent coding yiñ gëna wax, te poñ yi mu am yomb nañu lire te xamoo ni liggéey yi, scaffolds agent yi ak test checks yi di doxee.
Instance bu nekk dafay boole ab jafe-jafe dëgg ak ab nataalu dencukaay, te sistem bi dafa wara defar ab kod buy saafara jafe-jafe bi.
Dañuy firndeel ni jafe-jafe bi jeexna, ndax su saafaraa bi defee rek lañuy romb.
Dañu romb laata ak ginaaw fix nit, moo tax ñuy moytu regressions yi patch agent bi indi.
Verified génnewoon nañu ko ci 2024 ci OpenAI ak bindkati SWE-bench, di segg liggéey yiñ leeralul bu baax wala ñu am test yu bañ pexe yu baax.
Lite subset la bu am 300 instance, ñu tànnee ko ngir gëna xéewale te gëna mëna demal boppam.
Weyal di jàng
Tann nañu yeneen njiit ngir topic bii
Ci bi mu melGis bi ci topp
IFEval ak topp tegtal yi
Xarala