Quiz lié à un guide · Moyen Niveau

Quiz sur les benchmarks du banc SWE et des agents de codage

Teste la façon dont les tâches du banc SWE sont créées, les scores FAIL_TO_PASS et PASS_TO_PASS, les sous-ensembles Lite et Verified et pourquoi les échafaudages modifient les résultats.

Chemins de guidage associésBenchmarks Swe et agents de codage
Question 1 de 8

What does a SWE-bench task ask the system to do?