DalšíDalší průvodce
IFEval a benchmarky podle pokynů
Technický
Technický PRŮVODCE
SWE-bench je benchmark, který testuje, zda systém AI dokáže vyřešit skutečné problémy GitHub úpravou kódové základny Python tak, aby prošly vlastní testy projektu.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Záleží na tom, protože je to jedno z nejcitovanějších měřítek kódovacích agentů a jeho skóre lze snadno přečíst, aniž byste věděli, jak fungují úkoly, lešení agentů a testy testů.
SWE-bench byl představen Carlosem Jimenezem a kolegy z Princetonu v roce 2023 a publikován na ICLR 2024. Obsahuje 2 294 instancí úloh čerpaných z 12 široce používaných repozitářů Python, včetně Django, scikit-learn, sympy, matplotlib a requestů. Každá instance spáruje skutečný problém GitHub s požadavkem na stažení, který jej vyřešil. Testovaný systém obdrží text problému a úložiště tak, jak to bylo před opravou, a musí vytvořit opravu. Bodování používá testy z původního požadavku na stažení. Testy FAIL_TO_PASS selhaly před lidskou opravou a prošly po ní, takže zkontrolují, zda je problém vyřešen. Testy PASS_TO_PASS prošly před i po, takže kontrolují, že se nic dalšího nezlomilo. Instance se počítá jako vyřešená pouze v případě, že všechny tyto požadavky projdou a číslo v nadpisu je procento vyřešení. Při uvedení na trh vyřešily nejlepší modely jen několik procent úkolů. Důležité jsou dvě podmnožiny. SWE-bench Lite má 300 instancí vybraných tak, aby byly levnější a více samostatné. SWE-bench Verified, vydaný v roce 2024 OpenAI s autory SWE-bench, má 500 případů, které lidští inženýři prověřili, aby odstranili vágní popisy problémů nebo testy, které by odmítly platná řešení. Verified je nyní nejčastěji uváděným rozdělením. Skóre odrážejí model a jeho lešení, program, který mu umožňuje procházet soubory, spouštět příkazy a upravovat kód. SWE-agent z Princetonu a Agentless pipeline, který lokalizuje, opravuje a ověřuje bez otevřené smyčky agentů, jsou dobře známé příklady. Stejný model může na různých lešeních bodovat velmi odlišně. Běžná chybná čtení: původní sada je pouze Python a pokrývá tucet úložišť; absolvování testů nezaručuje udržovatelný kód; úložiště a opravy jsou veřejné, takže je možná kontaminace; a výsledky z více pokusů nejsou srovnatelné s výsledky z jednoho pokusu. Související benchmarky, jako je SWE-bench Multilingual, SWE-Lancer a Terminal-Bench, zkoumají další jazyky, úkoly na volné noze a práci s příkazovým řádkem.
Úloha předá agentovi problém Django popisující nesprávné chování plus checkout úložiště při odevzdání před opravou; agent musí napsat opravu, která je pak posouzena testy, které původní lidská oprava provedla.
Prodejce hlásí skóre SWE-bench Verified pomocí vlastního svazku agentů a několika pokusů na úkol; kupující by si měl před porovnáním s číslem jiného dodavatele ověřit, zda se jedná o výsledek jediného pokusu.
Inženýrský tým sestaví interní sadu ve stylu SWE ze svých vlastních soukromých úložišť a vyřešených lístků, aby zkontroloval, zda agent, který je veřejně hodnocen, skutečně pracuje na jejich kódu.
Výzkumníci používají SWE-bench Multimodal, kde problémy pocházejí z front-endových projektů JavaScript a často zahrnují snímky obrazovek vizuálních chyb, k testování dovedností, které originál pouze Python nemůže měřit.
Vzhledem k tomu, že nejvyšší skóre na SWE-bench Verified stoupá, benchmark odděluje přední systémy méně jasně a pozornost se přesouvá k novějším sadám úloh s aktuálnějšími problémy, více programovacími jazyky, delší vícekrokovou prací a vykazováním nákladů a spolehlivosti. Kontaminace je trvalým problémem, protože zdrojová úložiště jsou veřejná, což upřednostňuje benchmarky, které přidávají nedávné úkoly. Pro týmy, které si vybírají nástroje, jsou výchozím bodem veřejné žebříčky; testování agentů na jejich vlastních kódových základnách a lístcích zůstává nejspolehlivějším signálem.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
SWE-bench je benchmark, který testuje, zda systém AI dokáže vyřešit skutečné problémy GitHub úpravou kódové základny Python tak, aby prošly vlastní testy projektu. Záleží na tom, protože je to jedno z nejcitovanějších měřítek kódovacích agentů a jeho skóre lze snadno přečíst, aniž byste věděli, jak fungují úkoly, lešení agentů a testy testů.
Každá instance spáruje skutečný problém se snímkem úložiště a systém musí vygenerovat opravu kódu, která jej opraví.
Potvrzují, že problém je skutečně vyřešen, protože projdou pouze tehdy, když je oprava na místě.
Prošli před a po lidské opravě, takže chrání před regresí zavedenou agentovým patchem.
Verified byl vydán v roce 2024 od OpenAI s autory SWE-bench a odfiltroval úlohy, které byly nedostatečně specifikovány nebo měly testy odmítající platná řešení.
Lite je podmnožina o 300 instancích vybraná tak, aby byla levnější a více soběstačná.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
IFEval a benchmarky podle pokynů
Technický