Technische GIDS

SWE-bench en Coding Agent Benchmarks

SWE-bench is een benchmark die test of een AI-systeem echte GitHub-problemen kan oplossen door een Python-codebase te bewerken, zodat de eigen tests van het project slagen.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van SWE-bench en benchmarks voor codeer-agents
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het is belangrijk omdat het een van de meest geciteerde maatstaven voor codeer-agents is, en de scores zijn gemakkelijk verkeerd te interpreteren zonder te weten hoe taken, agent-scaffolds en testcontroles werken.

Diepe duik

SWE-bench was introduced by Carlos Jimenez and colleagues at Princeton in 2023 and published at ICLR 2024. It contains 2,294 task instances drawn from 12 widely used Python repositories, including Django, scikit-learn, sympy, matplotlib and requests. Each instance pairs a real GitHub issue with the pull request that fixed it. The system under test receives the issue text and the repository as it was before the fix, and must produce a patch. Scoring uses the tests from the original pull request. FAIL_TO_PASS tests failed before the human fix and passed after it, so they check that the issue is solved. PASS_TO_PASS tests passed both before and after, so they check that nothing else broke. An instance counts as resolved only if all of these pass, and the headline number is the percentage resolved. At launch, the best models resolved only a few percent of tasks. Two subsets matter. SWE-bench Lite has 300 instances chosen to be cheaper and more self-contained. SWE-bench Verified, released in 2024 by OpenAI with the SWE-bench authors, has 500 instances that human engineers screened to remove vague issue descriptions or tests that would reject valid solutions. Verified is now the most commonly quoted split. Scores reflect a model plus its scaffold, the program that lets it browse files, run commands and edit code. SWE-agent from Princeton and the Agentless pipeline, which localizes, repairs and validates without an open-ended agent loop, are well-known examples. The same model can score very differently in different scaffolds. Common misreadings: the original set is Python-only and covers a dozen repositories; passing tests does not guarantee maintainable code; the repositories and fixes are public, so contamination is possible; and multi-attempt results are not comparable to single-attempt ones. Related benchmarks such as SWE-bench Multilingual, SWE-Lancer and Terminal-Bench probe other languages, freelance tasks and command-line work.

Implementatie in de echte wereld

Een taak geeft een agent een Django-issue met een beschrijving van onjuist gedrag, plus een checkout van de repository op de commit vóór de fix; de agent moet een patch schrijven, die vervolgens wordt beoordeeld door tests die de oorspronkelijke menselijke fix liet slagen.

Een leverancier rapporteert een SWE-bench Verified-score met behulp van zijn eigen agent-harness en meerdere pogingen per taak; een koper moet bevestigen of het een resultaat van één poging betreft voordat deze wordt vergeleken met het cijfer van een andere leverancier.

Een engineeringteam bouwt een interne set in SWE-bench-stijl op basis van hun eigen private repositories en opgeloste tickets om te controleren of een agent die publiekelijk goed scoort, ook daadwerkelijk werkt op hun code.

Onderzoekers gebruiken SWE-bench Multimodal, waarbij issues afkomstig zijn van JavaScript front-end projecten en vaak screenshots van visuele bugs bevatten, om vaardigheden te testen die het origineel met alleen Python niet kan meten.

De toekomst van SWE-bench en benchmarks voor codeer-agents

Naarmate de topscores op SWE-bench Verified stijgen, onderscheidt de benchmark toonaangevende systemen minder duidelijk, en verschuift de aandacht naar nieuwere taaksets met recentere issues, meer programmeertalen, langer werk in meerdere stappen en rapportage van kosten en betrouwbaarheid. Contaminatie is een blijvend punt van zorg omdat de bron-repositories openbaar zijn, wat benchmarks bevoordeelt die recente taken toevoegen. Voor teams die tools kiezen, zijn openbare leaderboards een startpunt; het testen van agents op hun eigen codebases en tickets blijft het meest betrouwbare signaal.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Doe de quiz over SWE-bench en benchmarks voor codeer-agents

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is SWE-bench en benchmarks voor codeer-agents?

SWE-bench is een benchmark die test of een AI-systeem echte GitHub-problemen kan oplossen door een Python-codebase te bewerken, zodat de eigen tests van het project slagen. Het is belangrijk omdat het een van de meest geciteerde maatstaven voor codeer-agents is, en de scores zijn gemakkelijk verkeerd te interpreteren zonder te weten hoe taken, agent-scaffolds en testcontroles werken.

Wat vraagt een SWE-bench-taak van het systeem?

Elke instantie koppelt een echt issue aan een repository-snapshot, en het systeem moet een codepatch genereren die het probleem oplost.

Wat zijn FAIL_TO_PASS-tests?

Ze bevestigen dat het probleem daadwerkelijk is opgelost, aangezien ze alleen slagen als de fix is toegepast.

Wat is de rol van PASS_TO_PASS-tests?

Ze slaagden voor en na de menselijke fix, dus ze beschermen tegen regressies die door de patch van de agent worden geïntroduceerd.

Wat is SWE-bench Verified?

Verified werd in 2024 uitgebracht door OpenAI samen met de auteurs van SWE-bench, waarbij taken werden gefilterd die onvoldoende gespecificeerd waren of tests hadden die geldige oplossingen afwezen.

Hoeveel instanties zitten er in SWE-bench Lite?

Lite is een subset van 300 instanties die is gekozen om goedkoper en meer op zichzelf staand te zijn.