Техническое РУКОВОДСТВО

Тесты SWE-bench и Coding Agent

SWE-bench — это тест, который проверяет, может ли система искусственного интеллекта решить реальные проблемы GitHub путем редактирования кодовой базы Python так, чтобы собственные тесты проекта прошли успешно.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее тестов SWE и Coding Agent
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, потому что это один из наиболее цитируемых показателей кодирования агентов, и его оценки легко переоценить, не зная, как работают задачи, структуры агентов и тестовые проверки.

Глубокое погружение

SWE-bench был представлен Карлосом Хименесом и его коллегами в Принстоне в 2023 году и опубликован на ICLR 2024. Он содержит 2294 экземпляра задач, взятых из 12 широко используемых репозиториев Python, включая Django, scikit-learn, Sympy, matplotlib и запросы. В каждом экземпляре реальная проблема GitHub сочетается с запросом на включение, который ее исправил. Тестируемая система получает текст проблемы и репозиторий в том виде, в котором они были до исправления, и должна создать исправление. Для оценки используются тесты из исходного запроса на включение. Тесты FAIL_TO_PASS провалились до исправления человеком и прошли после него, поэтому они проверяют, решена ли проблема. Тесты PASS_TO_PASS прошли и до, и после, поэтому проверяют, что больше ничего не сломалось. Экземпляр считается решенным, только если все они пройдены, а число в заголовке — это процент разрешенного. На момент запуска лучшие модели решали лишь несколько процентов задач. Два подмножества имеют значение. SWE-bench Lite имеет 300 экземпляров, выбранных как более дешевые и автономные. SWE-bench Verified, выпущенный в 2024 году OpenAI совместно с авторами SWE-bench, содержит 500 экземпляров, которые инженеры-люди проверили, чтобы удалить расплывчатые описания проблем или тесты, которые отклонили бы действительные решения. «Проверено» сейчас является наиболее часто цитируемым разделением. Оценки отражают модель и ее каркас — программу, которая позволяет просматривать файлы, запускать команды и редактировать код. Хорошо известными примерами являются SWE-агент из Принстона и безагентный конвейер, который локализует, ремонтирует и проверяет без открытого агентного цикла. Одна и та же модель может иметь разную оценку на разных платформах. Распространенные заблуждения: исходный набор предназначен только для Python и охватывает дюжину репозиториев; прохождение тестов не гарантирует поддерживаемости кода; репозитории и исправления общедоступны, поэтому возможно заражение; а результаты многопопыток несопоставимы с результатами однократных попыток. Связанные тесты, такие как SWE-bench Multilingual, SWE-Lancer и Terminal-Bench, проверяют другие языки, внештатные задачи и работу из командной строки.

Реальная реализация

Задача передает агенту проблему Django, описывающую неправильное поведение, плюс проверку репозитория при фиксации перед исправлением; агент должен написать патч, который затем оценивается по тестам, которые прошли исходные исправления, сделанные человеком.

Поставщик сообщает о результатах проверки SWE-bench, используя собственный агент и несколько попыток для каждой задачи; покупатель должен подтвердить, является ли это результатом одной попытки, прежде чем сравнивать его с номером другого продавца.

Команда инженеров создает внутренний набор в стиле SWE-bench из своих собственных частных репозиториев и разрешенных заявок, чтобы проверить, действительно ли агент, имеющий хороший публичный рейтинг, работает над их кодом.

Исследователи используют SWE-bench Multimodal, где проблемы возникают из интерфейсных проектов JavaScript и часто включают скриншоты визуальных ошибок, для проверки навыков, которые оригинал только для Python не может измерить.

Будущее тестов SWE и Coding Agent

По мере того, как высшие баллы на SWE-bench Verified растут, этот тест менее четко разделяет ведущие системы, и внимание переключается на новые наборы задач с более свежими проблемами, большим количеством языков программирования, более длительной многоэтапной работой и отчетами о стоимости и надежности. Загрязнение является постоянной проблемой, поскольку исходные репозитории являются общедоступными, что благоприятствует тестам, добавляющим недавние задачи. Для команд, выбирающих инструменты, отправной точкой являются общедоступные таблицы лидеров; тестирование агентов на их собственных кодовых базах и билетах остается наиболее надежным сигналом.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the SWE-bench and Coding Agent Benchmarks quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое тесты SWE-bench и Coding Agent?

SWE-bench — это тест, который проверяет, может ли система искусственного интеллекта решить реальные проблемы GitHub путем редактирования кодовой базы Python так, чтобы собственные тесты проекта прошли успешно. Это важно, потому что это один из наиболее цитируемых показателей кодирования агентов, и его оценки легко переоценить, не зная, как работают задачи, структуры агентов и тестовые проверки.

Что задача SWE-bench требует от системы?

Каждый экземпляр связывает реальную проблему со снимком репозитория, и система должна создать исправление кода, которое ее исправляет.

Что такое тесты FAIL_TO_PASS?

Они подтверждают, что проблема действительно решена, поскольку они проходят только тогда, когда исправление установлено.

Какова роль тестов PASS_TO_PASS?

Они прошли до и после исправления человеком, поэтому они защищают от регрессий, вызванных патчем агента.

Что такое проверка SWE-bench?

Verified был выпущен в 2024 году OpenAI совместно с авторами SWE-bench, отфильтровывая задачи, которые были недостаточно определены или тесты которых отклоняли действительные решения.

Сколько экземпляров в SWE-bench Lite?

Lite — это подмножество из 300 экземпляров, выбранное как более дешевое и автономное.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →