GUIDA TECNICA

Benchmark SWE e agenti di codifica

SWE-bench è un benchmark che verifica se un sistema di IA è in grado di risolvere problemi reali di GitHub modificando una codebase Python in modo che i test del progetto stesso vengano superati.

Ascolta questa guidaNarrato dall'IA · ~3 min

In questa pagina4 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro di SWE-bench e dei benchmark per agenti di programmazione
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

È importante perché è una delle misure più citate per gli agenti di programmazione e i suoi punteggi sono facili da interpretare erroneamente senza conoscere il funzionamento di task, scaffold degli agenti e controlli dei test.

Immersione profonda

SWE-bench was introduced by Carlos Jimenez and colleagues at Princeton in 2023 and published at ICLR 2024. It contains 2,294 task instances drawn from 12 widely used Python repositories, including Django, scikit-learn, sympy, matplotlib and requests. Each instance pairs a real GitHub issue with the pull request that fixed it. The system under test receives the issue text and the repository as it was before the fix, and must produce a patch. Scoring uses the tests from the original pull request. FAIL_TO_PASS tests failed before the human fix and passed after it, so they check that the issue is solved. PASS_TO_PASS tests passed both before and after, so they check that nothing else broke. An instance counts as resolved only if all of these pass, and the headline number is the percentage resolved. At launch, the best models resolved only a few percent of tasks. Two subsets matter. SWE-bench Lite has 300 instances chosen to be cheaper and more self-contained. SWE-bench Verified, released in 2024 by OpenAI with the SWE-bench authors, has 500 instances that human engineers screened to remove vague issue descriptions or tests that would reject valid solutions. Verified is now the most commonly quoted split. Scores reflect a model plus its scaffold, the program that lets it browse files, run commands and edit code. SWE-agent from Princeton and the Agentless pipeline, which localizes, repairs and validates without an open-ended agent loop, are well-known examples. The same model can score very differently in different scaffolds. Common misreadings: the original set is Python-only and covers a dozen repositories; passing tests does not guarantee maintainable code; the repositories and fixes are public, so contamination is possible; and multi-attempt results are not comparable to single-attempt ones. Related benchmarks such as SWE-bench Multilingual, SWE-Lancer and Terminal-Bench probe other languages, freelance tasks and command-line work.

Implementazione nel mondo reale

Un task fornisce a un agente un problema di Django che descrive un comportamento errato, insieme a un checkout del repository al commit precedente alla correzione; l'agente deve scrivere una patch, che viene poi valutata dai test che la correzione umana originale ha reso superabili.

Un fornitore riporta un punteggio SWE-bench Verified utilizzando il proprio harness per agenti e diversi tentativi per task; un acquirente dovrebbe confermare se si tratta di un risultato ottenuto al primo tentativo prima di confrontarlo con il numero di un altro fornitore.

Un team di ingegneria crea un set interno in stile SWE-bench dai propri repository privati e dai ticket risolti per verificare se un agente che si posiziona bene pubblicamente funzioni effettivamente sul proprio codice.

I ricercatori utilizzano SWE-bench Multimodal, in cui i problemi provengono da progetti front-end JavaScript e includono spesso screenshot di bug visivi, per testare competenze che l'originale basato solo su Python non può misurare.

Il futuro di SWE-bench e dei benchmark per agenti di programmazione

Man mano che i punteggi più alti su SWE-bench Verified aumentano, il benchmark distingue meno chiaramente i sistemi leader e l'attenzione si sta spostando verso nuovi set di task con problemi più recenti, più linguaggi di programmazione, lavori multi-step più lunghi e la rendicontazione di costi e affidabilità. La contaminazione rimane una preoccupazione costante perché i repository sorgente sono pubblici, il che favorisce i benchmark che aggiungono task recenti. Per i team che scelgono gli strumenti, le classifiche pubbliche sono un punto di partenza; testare gli agenti sulle proprie codebase e sui propri ticket rimane il segnale più affidabile.

Metterlo in pratica

Perché è importante

  • Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
  • Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
  • Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.

Attenzione

  • L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
  • I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
  • Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.

Prossimi passi

  1. Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
  2. Benchmark in condizioni di carico e dati realistiche.
  3. Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
  4. Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Partecipa al quiz su SWE-bench e i benchmark per agenti di programmazione

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Cosa sono SWE-bench e i benchmark per agenti di programmazione?

SWE-bench è un benchmark che verifica se un sistema di IA è in grado di risolvere problemi reali di GitHub modificando una codebase Python in modo che i test del progetto stesso vengano superati. È importante perché è una delle misure più citate per gli agenti di programmazione e i suoi punteggi sono facili da interpretare erroneamente senza conoscere il funzionamento di task, scaffold degli agenti e controlli dei test.

Cosa chiede di fare un task di SWE-bench al sistema?

Ogni istanza associa un problema reale a uno snapshot del repository e il sistema deve generare una patch di codice che lo risolva.

Cosa sono i test FAIL_TO_PASS?

Confermano che il problema sia effettivamente risolto, poiché vengono superati solo quando la correzione è stata applicata.

Qual è il ruolo dei test PASS_TO_PASS?

Venivano superati prima e dopo la correzione umana, quindi proteggono da regressioni introdotte dalla patch dell'agente.

Cos'è SWE-bench Verified?

Verified è stato rilasciato nel 2024 da OpenAI insieme agli autori di SWE-bench, filtrando i task che erano poco specifici o che avevano test che rifiutavano soluzioni valide.

Quante istanze ci sono in SWE-bench Lite?

Lite è un sottoinsieme di 300 istanze scelto per essere più economico e più autonomo.