SWE 벤치 및 코딩 에이전트 벤치마크

SWE-bench는 2023년 Princeton의 Carlos Jimenez와 동료에 의해 소개되었으며 ICLR 2024에서 게시되었습니다. 여기에는 Django, scikit-learn, Sympy, matplotlib 및 요청을 포함하여 널리 사용되는 12개의 Python 리포지토리에서 가져온 2,294개의 작업 인스턴스가 포함되어 있습니다. 각 인스턴스는 실제 GitHub 문제와 이를 해결한 풀 요청을 연결합니다. 테스트 중인 시스템은 수정 전과 마찬가지로 이슈 텍스트와 저장소를 받아 패치를 생성해야 합니다. 채점에서는 원래 풀 요청의 테스트를 사용합니다. FAIL_TO_PASS 테스트는 사람이 수정하기 전에는 실패하고 수정 후에는 통과되었으므로 문제가 해결되었는지 확인합니다. PASS_TO_PASS 테스트는 이전과 이후 모두 통과되었으므로 다른 문제가 발생하지 않았는지 확인합니다. 인스턴스는 이러한 사항이 모두 통과된 경우에만 해결된 것으로 간주되며 헤드라인 숫자는 해결된 비율입니다. 출시 당시 최고의 모델은 작업의 몇 퍼센트만 해결했습니다. 두 가지 하위 집합이 중요합니다. SWE-bench Lite에는 더 저렴하고 독립적으로 선택된 300개의 인스턴스가 있습니다. SWE-bench 작성자와 함께 OpenAI가 2024년에 출시한 SWE-bench Verified에는 유효한 솔루션을 거부하는 모호한 문제 설명이나 테스트를 제거하기 위해 인간 엔지니어가 선별한 500개의 인스턴스가 있습니다. 검증된 분할은 이제 가장 일반적으로 인용되는 분할입니다. 점수는 모델과 모델의 비계, 파일 탐색, 명령 실행 및 코드 편집을 가능하게 하는 프로그램을 반영합니다. 개방형 에이전트 루프 없이 현지화, 복구 및 검증을 수행하는 Princeton의 SWE-agent와 Agentless 파이프라인이 잘 알려진 예입니다. 동일한 모델이 다양한 비계에서 매우 다르게 점수를 매길 수 있습니다. 일반적인 오해: 원본 세트는 Python 전용이며 12개의 저장소를 포함합니다. 테스트를 통과한다고 해서 유지 관리 가능한 코드가 보장되는 것은 아닙니다. 저장소와 수정 사항은 공개되어 있으므로 오염이 가능합니다. 다중 시도 결과는 단일 시도 결과와 비교할 수 없습니다. SWE-bench Multilingual, SWE-Lancer 및 Terminal-Bench와 같은 관련 벤치마크는 다른 언어, 프리랜서 작업 및 명령줄 작업을 조사합니다.