Викторина, связанная с руководством · Средний Уровень

Тест по тестированию SWE-bench и Coding Agent

Проверяет, как строятся задачи SWE-bench, оценку FAIL_TO_PASS и PASS_TO_PASS, подмножества Lite и Verified, а также почему скаффолды меняют результаты.

Связанные направляющие путиТесты Swe Bench и Coding Agent
Вопрос 1 из 8

Что задача SWE-bench требует от системы?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что задача SWE-bench требует от системы?
    • Напишите новую библиотеку из спецификации
    • Создайте патч, который решает реальную проблему GitHub в репозитории Python.
    • Отвечайте на вопросы с несколькими вариантами ответов о коде
    • Перевести код с Python на Java
  2. Что такое тесты FAIL_TO_PASS?
    • Тесты, которые всегда терпят неудачу
    • Тесты агент пишет сам
    • Тесты, которые пропускаются при подсчете баллов
    • Тесты, которые провалились до исправления человеком и прошли после него
  3. Какова роль тестов PASS_TO_PASS?
    • Проверка того, что патч не нарушил уже работающее поведение
    • Проверка стиля кода патча
    • Измерение скорости работы патча
    • Проверка точности текста задачи
  4. Что такое проверка SWE-bench?
    • Полный набор из 2294 задач
    • Набор задач JavaScript со скриншотами
    • 500 задач, проверенных инженерами-людьми для устранения неясных проблем и несправедливых тестов.
    • Частный тестовый набор, никогда не публиковавшийся публично
  5. Сколько экземпляров в SWE-bench Lite?
    • 164
    • 300
    • 500
    • 2294
  6. Почему одна и та же модель может получить очень разные оценки SWE-bench?
    • Оценки зависят от платформы, которая позволяет модели просматривать, запускать команды и редактировать файлы.
    • Тесты генерируются случайным образом при каждом запуске
    • Репозитории разные для каждой модели.
    • На оценку влияет только размер модели.
  7. Что является реальным ограничением оригинального SWE-bench?
    • У него нет тестов
    • Используются только синтетические выпуски
    • Его нельзя запустить в Docker
    • Он предназначен только для Python и взят из примерно дюжины репозиториев.
  8. Видит ли агент патч оценочного теста во время работы?
    • Да, это включено в текст выпуска
    • Да, но только тесты PASS_TO_PASS
    • Нет, жгут применяет тестовый патч отдельно после агентского патча.
    • Нет, потому что на SWE-bench нет тестов