Викторина, связанная с руководством · Средний Уровень
Тест по тестированию SWE-bench и Coding Agent
Проверяет, как строятся задачи SWE-bench, оценку FAIL_TO_PASS и PASS_TO_PASS, подмножества Lite и Verified, а также почему скаффолды меняют результаты.
Вопрос 1 из 8
Что задача SWE-bench требует от системы?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что задача SWE-bench требует от системы?
- Напишите новую библиотеку из спецификации
- Создайте патч, который решает реальную проблему GitHub в репозитории Python.
- Отвечайте на вопросы с несколькими вариантами ответов о коде
- Перевести код с Python на Java
- Что такое тесты FAIL_TO_PASS?
- Тесты, которые всегда терпят неудачу
- Тесты агент пишет сам
- Тесты, которые пропускаются при подсчете баллов
- Тесты, которые провалились до исправления человеком и прошли после него
- Какова роль тестов PASS_TO_PASS?
- Проверка того, что патч не нарушил уже работающее поведение
- Проверка стиля кода патча
- Измерение скорости работы патча
- Проверка точности текста задачи
- Что такое проверка SWE-bench?
- Полный набор из 2294 задач
- Набор задач JavaScript со скриншотами
- 500 задач, проверенных инженерами-людьми для устранения неясных проблем и несправедливых тестов.
- Частный тестовый набор, никогда не публиковавшийся публично
- Сколько экземпляров в SWE-bench Lite?
- 164
- 300
- 500
- 2294
- Почему одна и та же модель может получить очень разные оценки SWE-bench?
- Оценки зависят от платформы, которая позволяет модели просматривать, запускать команды и редактировать файлы.
- Тесты генерируются случайным образом при каждом запуске
- Репозитории разные для каждой модели.
- На оценку влияет только размер модели.
- Что является реальным ограничением оригинального SWE-bench?
- У него нет тестов
- Используются только синтетические выпуски
- Его нельзя запустить в Docker
- Он предназначен только для Python и взят из примерно дюжины репозиториев.
- Видит ли агент патч оценочного теста во время работы?
- Да, это включено в текст выпуска
- Да, но только тесты PASS_TO_PASS
- Нет, жгут применяет тестовый патч отдельно после агентского патча.
- Нет, потому что на SWE-bench нет тестов