GUIDE teknik

SWE-banc ak référence Agent Codage

SWE-bench benn référence la buy saytu ndax sistem IA mën na saafara jafe-jafe GitHub dëgg ci soppali benn codebase Python suko defee test yi projet bi def ci boppam jàll.

Déglul tegtal biiIA-nettali · ~3 min

Ci xët wii4 simili jàng
  1. Résumé
  2. Plongeur bu xóot
  3. Doxal ci àdduna dëgg
  4. Ëlëgu SWE-banc ak Reférence Agent Codage
  5. Teg ko ci jëf
  6. Weyal di banneexu
  7. Laaj yi ñuy faral di laaj

Résumé

Dafa am solo ndax bokk na ci nattukaayi agent coding yiñ gëna wax, te poñ yi mu am yomb nañu lire te xamoo ni liggéey yi, scaffolds agent yi ak test checks yi di doxee.

Plongeur bu xóot

SWE-bench Carlos Jimenez ak ay naataangoom ñoo ko dugal ci Princeton ci 2023 ba noppi ñu siiwal ko ci ICLR 2024. Dafa am 2,294 misaali liggéey yuñ jëlee ci 12 dencukaay yu ñuy jëfandikoo bu baax, boole ci Dympjango, laaj. Bépp misaal dafay boole ab jafe-jafe GitHub ak laaj pull bi ko saafara. Sistem bi ñuy saytu dafay jot mbindu jafe-jafe bi ak dencukaay bi nimu meloon balaa defar bi, te dafa wara defar benn patch. Njortu dafay jëfandikoo test yi bawoo ci laaj pull bi njëkk. FAIL_TO_PASS test yi jàllul laataa ñuy defar nit ñi, ñu jàll ci ganaw ga, kon dañu xool ndax jafe-jafe bi jeexna. PASS_TO_PASS test yi jàll nañu laata ak ginaaw, kon dañu xool ndax dara yàquwul. Benn instance dafay jàpp ni amna luñu ko saafara sudee ñoom ñépp jàll nañu, te nimero boppu bi mooy pursàntaasu saafara gi. Bi ñuy genne, model yi gëna baax mënu ñu saafara yenn liggéey ci teemeer boo jél. Ñaari ensemble yu ndaw ñoo am solo. SWE-bench Lite amna 300 misaal yuñ tànn ngir gëna xéewale ak gëna mëna demal boppam. SWE-bench Verified, bi OpenAI génne ci 2024 ak bindkati SWE-bench, amna 500 misaal yu ingenieur nit ñi xool ngir dindi ay tegtal yu leerul wala ay test yuy bañ ay pexe yu baax. Verified mooy xaaj biñ gëna siif leegi. Njortu yi dañuy wane model bi ak scaffold bi, prograam bi koy may mu xool ay fichier, def ay komand ak soppali kode. SWE-agent bu bawoo Princeton ak gasoduk Agentless, biy lokalise, defar ak saytu te amul benn loop agent bu ubbeeku, misaal yu siiw lañu. Benn model mën na am poñ yu wuute lool ci scaffold yu wuute. Juumte yu bari: ensemble bi njëkk mooy Python-only te dafay muur fukk ak ñaari dencukaay; jàll ci examen yi garantiwul ni kode bi dina mëna wéy; dencukaay yi ak defar yi ñépp bokk, kon kontaminasioŋ mën na am; ak resultaa yi bawoo ci jéem yu bari mënoo leen méngale ak yi bawoo ci benn jéem. Référence yi ci méngoo lu ci melni SWE-banc lakk yu bari, SWE-Lancer ak Terminal-Banc sond yeneen làkk, liggéey ci sa bopp ak liggéey ci liiñ komand.

Doxal ci àdduna dëgg

Liggéey dafay jox ab ndawu liggéey ab jafe-jafe Django buy leeral doxalin bu jaarul yoon boole ci xool dencukaay bi ci commit bi laata defar bi; agent bi dafa wara bind benn patch, suko defee ñu jàngat ko ci test yi fix bi nit ñi njëkka def ñu jàll.

Jaaykat bi dafay xamle poñ yiñ firndeel ci SWE-bench ci jëfandikoo harness agent boppam ak jéem yu bari ci liggéey bu nekk; jëndkat bi dafa wara xool bu baax ndax benn yoon kese la am déet balaa mu koy méngale ak nimero beneen jaaykat.

Benn ekipu ingenieur dafa tabax benn set bu nuroo ak banc SWE ci biir, ci ay dencukaay boppam, ba noppi ñu defar ay këyit ngir xool ndax ab ndawu liggéey bu am rang bu baax ci mbooloo mi, dafay liggéey ci seen kode.

Gëstukat yi dañuy jëfandikoo SWE-bench Multimodal, fu jafe-jafe yi bawoo ci projet yu njëkk yu JavaScript ba noppi dañuy faral di boole ay nataali bug yuñy xool, ngir natt mën-mën yi Python-only mënul natt.

Ëlëgu SWE-banc ak Reférence Agent Codage

Bi poñ yi gëna mag ci SWE-bench Verified di yokk, benchmark bi dafay tàqale sistem yi gëna néew lu leer, ba noppi bàyyi xel ci liggéey yu bees ak jafe-jafe yu bees, làkki prograam yu gëna gudd, liggéey bu gëna gudd ak rapoor ci njëg ak wóor. Kontaminasioŋ nekk na jafe-jafe buy yàgg ndax dencukaay yi ñépp bokk lañu, te loolu dafay baax ci benchmark yiy yokk liggéey yu bees. Ngir ekip yiy tànn jumtukaay, tablo njiit yi ñépp bokk mooy barab bi ñuy tàmbalee; test agents ci seen codebases bopp ak tickets nekk siñaal bi gëna wóor.

Teg ko ci jëf

Lu tax mu am solo

  • Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
  • dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
  • Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.

Moytul

  • Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
  • Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
  • Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.

Jéego yi ci topp

  1. Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
  2. Benchmark ci biir sargal ak done yu dëggu.
  3. Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
  4. Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.

Weyal di banneexu

Bulletin bu amul fayda

Jàngal xibaar AI bu bes

Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.

Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.

Nattal sa bopp

Take the SWE-bench and Coding Agent Benchmarks quiz

Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.

Tambalil quiz

Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax

Laaj yi ñuy faral di laaj

Luy SWE-banc ak référence Agent Codage?

SWE-bench benn référence la buy saytu ndax sistem IA mën na saafara jafe-jafe GitHub dëgg ci soppali benn codebase Python suko defee test yi projet bi def ci boppam jàll. Dafa am solo ndax bokk na ci nattukaayi agent coding yiñ gëna wax, te poñ yi mu am yomb nañu lire te xamoo ni liggéey yi, scaffolds agent yi ak test checks yi di doxee.

Lan la liggéeyu SWE-bench di sàkku ci sistem bi mu def?

Instance bu nekk dafay boole ab jafe-jafe dëgg ak ab nataalu dencukaay, te sistem bi dafa wara defar ab kod buy saafara jafe-jafe bi.

Luy test FAIL_TO_PASS?

Dañuy firndeel ni jafe-jafe bi jeexna, ndax su saafaraa bi defee rek lañuy romb.

Lan mooy njariñu test PASS_TO_PASS?

Dañu romb laata ak ginaaw fix nit, moo tax ñuy moytu regressions yi patch agent bi indi.

Luy SWE-banc buñ firndeel?

Verified génnewoon nañu ko ci 2024 ci OpenAI ak bindkati SWE-bench, di segg liggéey yiñ leeralul bu baax wala ñu am test yu bañ pexe yu baax.

Ñaata misaal ñoo am ci SWE-banc Lite?

Lite subset la bu am 300 instance, ñu tànnee ko ngir gëna xéewale te gëna mëna demal boppam.