Technický PRŮVODCE

SWE-bench a Coding Agent Benchmarks

SWE-bench je benchmark, který testuje, zda systém AI dokáže vyřešit skutečné problémy GitHub úpravou kódové základny Python tak, aby prošly vlastní testy projektu.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce4 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost benchmarků SWE a Coding Agent Benchmarks
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Záleží na tom, protože je to jedno z nejcitovanějších měřítek kódovacích agentů a jeho skóre lze snadno přečíst, aniž byste věděli, jak fungují úkoly, lešení agentů a testy testů.

Hluboký ponor

SWE-bench byl představen Carlosem Jimenezem a kolegy z Princetonu v roce 2023 a publikován na ICLR 2024. Obsahuje 2 294 instancí úloh čerpaných z 12 široce používaných repozitářů Python, včetně Django, scikit-learn, sympy, matplotlib a requestů. Každá instance spáruje skutečný problém GitHub s požadavkem na stažení, který jej vyřešil. Testovaný systém obdrží text problému a úložiště tak, jak to bylo před opravou, a musí vytvořit opravu. Bodování používá testy z původního požadavku na stažení. Testy FAIL_TO_PASS selhaly před lidskou opravou a prošly po ní, takže zkontrolují, zda je problém vyřešen. Testy PASS_TO_PASS prošly před i po, takže kontrolují, že se nic dalšího nezlomilo. Instance se počítá jako vyřešená pouze v případě, že všechny tyto požadavky projdou a číslo v nadpisu je procento vyřešení. Při uvedení na trh vyřešily nejlepší modely jen několik procent úkolů. Důležité jsou dvě podmnožiny. SWE-bench Lite má 300 instancí vybraných tak, aby byly levnější a více samostatné. SWE-bench Verified, vydaný v roce 2024 OpenAI s autory SWE-bench, má 500 případů, které lidští inženýři prověřili, aby odstranili vágní popisy problémů nebo testy, které by odmítly platná řešení. Verified je nyní nejčastěji uváděným rozdělením. Skóre odrážejí model a jeho lešení, program, který mu umožňuje procházet soubory, spouštět příkazy a upravovat kód. SWE-agent z Princetonu a Agentless pipeline, který lokalizuje, opravuje a ověřuje bez otevřené smyčky agentů, jsou dobře známé příklady. Stejný model může na různých lešeních bodovat velmi odlišně. Běžná chybná čtení: původní sada je pouze Python a pokrývá tucet úložišť; absolvování testů nezaručuje udržovatelný kód; úložiště a opravy jsou veřejné, takže je možná kontaminace; a výsledky z více pokusů nejsou srovnatelné s výsledky z jednoho pokusu. Související benchmarky, jako je SWE-bench Multilingual, SWE-Lancer a Terminal-Bench, zkoumají další jazyky, úkoly na volné noze a práci s příkazovým řádkem.

Real-World Implementace

Úloha předá agentovi problém Django popisující nesprávné chování plus checkout úložiště při odevzdání před opravou; agent musí napsat opravu, která je pak posouzena testy, které původní lidská oprava provedla.

Prodejce hlásí skóre SWE-bench Verified pomocí vlastního svazku agentů a několika pokusů na úkol; kupující by si měl před porovnáním s číslem jiného dodavatele ověřit, zda se jedná o výsledek jediného pokusu.

Inženýrský tým sestaví interní sadu ve stylu SWE ze svých vlastních soukromých úložišť a vyřešených lístků, aby zkontroloval, zda agent, který je veřejně hodnocen, skutečně pracuje na jejich kódu.

Výzkumníci používají SWE-bench Multimodal, kde problémy pocházejí z front-endových projektů JavaScript a často zahrnují snímky obrazovek vizuálních chyb, k testování dovedností, které originál pouze Python nemůže měřit.

Budoucnost benchmarků SWE a Coding Agent Benchmarks

Vzhledem k tomu, že nejvyšší skóre na SWE-bench Verified stoupá, benchmark odděluje přední systémy méně jasně a pozornost se přesouvá k novějším sadám úloh s aktuálnějšími problémy, více programovacími jazyky, delší vícekrokovou prací a vykazováním nákladů a spolehlivosti. Kontaminace je trvalým problémem, protože zdrojová úložiště jsou veřejná, což upřednostňuje benchmarky, které přidávají nedávné úkoly. Pro týmy, které si vybírají nástroje, jsou výchozím bodem veřejné žebříčky; testování agentů na jejich vlastních kódových základnách a lístcích zůstává nejspolehlivějším signálem.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the SWE-bench and Coding Agent Benchmarks quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to SWE-bench a Coding Agent Benchmarks?

SWE-bench je benchmark, který testuje, zda systém AI dokáže vyřešit skutečné problémy GitHub úpravou kódové základny Python tak, aby prošly vlastní testy projektu. Záleží na tom, protože je to jedno z nejcitovanějších měřítek kódovacích agentů a jeho skóre lze snadno přečíst, aniž byste věděli, jak fungují úkoly, lešení agentů a testy testů.

Co vyžaduje úloha SWE-bench od systému?

Každá instance spáruje skutečný problém se snímkem úložiště a systém musí vygenerovat opravu kódu, která jej opraví.

Co jsou testy FAIL_TO_PASS?

Potvrzují, že problém je skutečně vyřešen, protože projdou pouze tehdy, když je oprava na místě.

Jaká je role testů PASS_TO_PASS?

Prošli před a po lidské opravě, takže chrání před regresí zavedenou agentovým patchem.

Co je SWE-bench Verified?

Verified byl vydán v roce 2024 od OpenAI s autory SWE-bench a odfiltroval úlohy, které byly nedostatečně specifikovány nebo měly testy odmítající platná řešení.

Kolik instancí je v SWE-bench Lite?

Lite je podmnožina o 300 instancích vybraná tak, aby byla levnější a více soběstačná.