ДалееСледующее руководство
IFEval и бенчмарки следования инструкциям
Технический
Техническое РУКОВОДСТВО
SWE-bench — это тест, который проверяет, может ли система искусственного интеллекта решить реальные проблемы GitHub путем редактирования кодовой базы Python так, чтобы собственные тесты проекта прошли успешно.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, потому что это один из наиболее цитируемых показателей кодирования агентов, и его оценки легко переоценить, не зная, как работают задачи, структуры агентов и тестовые проверки.
SWE-bench был представлен Карлосом Хименесом и его коллегами в Принстоне в 2023 году и опубликован на ICLR 2024. Он содержит 2294 экземпляра задач, взятых из 12 широко используемых репозиториев Python, включая Django, scikit-learn, Sympy, matplotlib и запросы. В каждом экземпляре реальная проблема GitHub сочетается с запросом на включение, который ее исправил. Тестируемая система получает текст проблемы и репозиторий в том виде, в котором они были до исправления, и должна создать исправление. Для оценки используются тесты из исходного запроса на включение. Тесты FAIL_TO_PASS провалились до исправления человеком и прошли после него, поэтому они проверяют, решена ли проблема. Тесты PASS_TO_PASS прошли и до, и после, поэтому проверяют, что больше ничего не сломалось. Экземпляр считается решенным, только если все они пройдены, а число в заголовке — это процент разрешенного. На момент запуска лучшие модели решали лишь несколько процентов задач. Два подмножества имеют значение. SWE-bench Lite имеет 300 экземпляров, выбранных как более дешевые и автономные. SWE-bench Verified, выпущенный в 2024 году OpenAI совместно с авторами SWE-bench, содержит 500 экземпляров, которые инженеры-люди проверили, чтобы удалить расплывчатые описания проблем или тесты, которые отклонили бы действительные решения. «Проверено» сейчас является наиболее часто цитируемым разделением. Оценки отражают модель и ее каркас — программу, которая позволяет просматривать файлы, запускать команды и редактировать код. Хорошо известными примерами являются SWE-агент из Принстона и безагентный конвейер, который локализует, ремонтирует и проверяет без открытого агентного цикла. Одна и та же модель может иметь разную оценку на разных платформах. Распространенные заблуждения: исходный набор предназначен только для Python и охватывает дюжину репозиториев; прохождение тестов не гарантирует поддерживаемости кода; репозитории и исправления общедоступны, поэтому возможно заражение; а результаты многопопыток несопоставимы с результатами однократных попыток. Связанные тесты, такие как SWE-bench Multilingual, SWE-Lancer и Terminal-Bench, проверяют другие языки, внештатные задачи и работу из командной строки.
Задача передает агенту проблему Django, описывающую неправильное поведение, плюс проверку репозитория при фиксации перед исправлением; агент должен написать патч, который затем оценивается по тестам, которые прошли исходные исправления, сделанные человеком.
Поставщик сообщает о результатах проверки SWE-bench, используя собственный агент и несколько попыток для каждой задачи; покупатель должен подтвердить, является ли это результатом одной попытки, прежде чем сравнивать его с номером другого продавца.
Команда инженеров создает внутренний набор в стиле SWE-bench из своих собственных частных репозиториев и разрешенных заявок, чтобы проверить, действительно ли агент, имеющий хороший публичный рейтинг, работает над их кодом.
Исследователи используют SWE-bench Multimodal, где проблемы возникают из интерфейсных проектов JavaScript и часто включают скриншоты визуальных ошибок, для проверки навыков, которые оригинал только для Python не может измерить.
По мере того, как высшие баллы на SWE-bench Verified растут, этот тест менее четко разделяет ведущие системы, и внимание переключается на новые наборы задач с более свежими проблемами, большим количеством языков программирования, более длительной многоэтапной работой и отчетами о стоимости и надежности. Загрязнение является постоянной проблемой, поскольку исходные репозитории являются общедоступными, что благоприятствует тестам, добавляющим недавние задачи. Для команд, выбирающих инструменты, отправной точкой являются общедоступные таблицы лидеров; тестирование агентов на их собственных кодовых базах и билетах остается наиболее надежным сигналом.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
SWE-bench — это тест, который проверяет, может ли система искусственного интеллекта решить реальные проблемы GitHub путем редактирования кодовой базы Python так, чтобы собственные тесты проекта прошли успешно. Это важно, потому что это один из наиболее цитируемых показателей кодирования агентов, и его оценки легко переоценить, не зная, как работают задачи, структуры агентов и тестовые проверки.
Каждый экземпляр связывает реальную проблему со снимком репозитория, и система должна создать исправление кода, которое ее исправляет.
Они подтверждают, что проблема действительно решена, поскольку они проходят только тогда, когда исправление установлено.
Они прошли до и после исправления человеком, поэтому они защищают от регрессий, вызванных патчем агента.
Verified был выпущен в 2024 году OpenAI совместно с авторами SWE-bench, отфильтровывая задачи, которые были недостаточно определены или тесты которых отклоняли действительные решения.
Lite — это подмножество из 300 экземпляров, выбранное как более дешевое и автономное.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
IFEval и бенчмарки следования инструкциям
Технический