Викторина, связанная с руководством · Средний Уровень

Викторина с объяснением метрики Pass@k

Проверяет определение pass@k, несмещенную оценку на основе n выборок, надежность pass^k и распространенные способы неправильного прочтения или завышения оценок pass@k.

Связанные направляющие путиПройти по K-метрике
Вопрос 1 из 8

Что pass@k измеряет для одной проблемы?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что pass@k измеряет для одной проблемы?
    • Доля k образцов, прошедших испытания
    • Вероятность того, что хотя бы одна из k выборочных попыток пройдет тесты
    • Вероятность того, что первая попытка пройдет после k повторов тонкой настройки
    • Количество пройденных тестов из k тестов
  2. HumanEval, тест, представленный в статье Codex, что содержит?
    • 2294 проблемы GitHub из проектов Python
    • 1000 задач конкурентного программирования на C++.
    • 164 рукописные задачи программирования Python с модульными тестами
    • 500 проверенных человеком отчетов об ошибках
  3. Почему статья Codex генерирует n выборок с n больше k?
    • Чтобы вычислить несмещенную оценку pass@k с меньшей дисперсией
    • Чтобы модель могла учиться на своих ошибках между выборками.
    • Потому что тесты требуют не менее 200 входов
    • Чтобы сделать результаты модели детерминированными
  4. Если n выборок и c верны, какое выражение является несмещенной оценкой pass@k?
    • с разделить на n
    • 1 минус (1 минус c/n) в степени k
    • C(c, k) разделить на C(n, k)
    • 1 минус C(n минус c, k) разделить на C(n, k)
  5. Что измеряет pass^k, определенный в статье tau-bench?
    • Вероятность того, что хотя бы одно из k испытаний окажется успешным
    • Вероятность того, что все k независимых испытаний будут успешными
    • Среднее количество шагов в k испытаниях
    • Оценка после k раундов самокоррекции
  6. Как температура отбора проб обычно взаимодействует с k?
    • Температура не влияет на pass@k
    • Низкая температура лучше всего подходит для каждого k
    • Более высокая температура способствует прохождению @k при больших k, поскольку образцы более разнообразны.
    • Более высокая температура всегда улучшает проход @1
  7. Почему высокий балл @ 100 может преувеличивать реальную полезность?
    • Предполагается, что что-то уже знает, какой из образцов правильный.
    • Учитывается только первая выборка
    • Он игнорирует модульные тесты
    • Он всегда вычисляется с помощью жадного декодирования.
  8. Если n = 20 образцов включают c = 18 правильных, что такое pass@5?
    • 0,9
    • Около 0,5
    • Его невозможно вычислить, поскольку n слишком мало.
    • Ровно 1