Викторина, связанная с руководством · Средний Уровень
Викторина с объяснением метрики Pass@k
Проверяет определение pass@k, несмещенную оценку на основе n выборок, надежность pass^k и распространенные способы неправильного прочтения или завышения оценок pass@k.
Вопрос 1 из 8
Что pass@k измеряет для одной проблемы?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что pass@k измеряет для одной проблемы?
- Доля k образцов, прошедших испытания
- Вероятность того, что хотя бы одна из k выборочных попыток пройдет тесты
- Вероятность того, что первая попытка пройдет после k повторов тонкой настройки
- Количество пройденных тестов из k тестов
- HumanEval, тест, представленный в статье Codex, что содержит?
- 2294 проблемы GitHub из проектов Python
- 1000 задач конкурентного программирования на C++.
- 164 рукописные задачи программирования Python с модульными тестами
- 500 проверенных человеком отчетов об ошибках
- Почему статья Codex генерирует n выборок с n больше k?
- Чтобы вычислить несмещенную оценку pass@k с меньшей дисперсией
- Чтобы модель могла учиться на своих ошибках между выборками.
- Потому что тесты требуют не менее 200 входов
- Чтобы сделать результаты модели детерминированными
- Если n выборок и c верны, какое выражение является несмещенной оценкой pass@k?
- с разделить на n
- 1 минус (1 минус c/n) в степени k
- C(c, k) разделить на C(n, k)
- 1 минус C(n минус c, k) разделить на C(n, k)
- Что измеряет pass^k, определенный в статье tau-bench?
- Вероятность того, что хотя бы одно из k испытаний окажется успешным
- Вероятность того, что все k независимых испытаний будут успешными
- Среднее количество шагов в k испытаниях
- Оценка после k раундов самокоррекции
- Как температура отбора проб обычно взаимодействует с k?
- Температура не влияет на pass@k
- Низкая температура лучше всего подходит для каждого k
- Более высокая температура способствует прохождению @k при больших k, поскольку образцы более разнообразны.
- Более высокая температура всегда улучшает проход @1
- Почему высокий балл @ 100 может преувеличивать реальную полезность?
- Предполагается, что что-то уже знает, какой из образцов правильный.
- Учитывается только первая выборка
- Он игнорирует модульные тесты
- Он всегда вычисляется с помощью жадного декодирования.
- Если n = 20 образцов включают c = 18 правильных, что такое pass@5?
- 0,9
- Около 0,5
- Его невозможно вычислить, поскольку n слишком мало.
- Ровно 1