Техническое РУКОВОДСТВО

Объяснение метрики Pass@k

Pass@k — это вероятность того, что хотя бы одна из k выборочных попыток модели решит проблему, обычно проверяется путем запуска скрытых модульных тестов сгенерированного кода.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Объяснение будущего метрики Pass@k
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, поскольку тесты кода и агентов сообщают об этом постоянно, а результат pass@10 или pass@100 может выглядеть намного лучше, чем тот, который пользователь получает за одну попытку.

Глубокое погружение

Pass@k вырос из исследований по синтезу программ, где Кулал и его коллеги использовали его в 2019 году для задач преобразования псевдокода в код, и он стал стандартом после статьи OpenAI 2021 года Codex, в которой был представлен HumanEval, набор из 164 рукописных задач программирования Python. Для каждой проблемы модель записывает функцию, и функция считается правильной только в том случае, если она проходит скрытые модульные тесты. Pass@k спрашивает: если вы взяли k образцов, какова вероятность того, что хотя бы один пройдет? Контрольный балл – это средняя вероятность по всем задачам. Наивный метод состоит в том, чтобы сгенерировать ровно k выборок для каждой задачи и проверить, прошли ли они, но эта оценка очень зашумлена. Вместо этого документ Codex генерирует n выборок, где n больше k (например, 200), подсчитывает c правильных образцов и вычисляет вероятность того, что случайное подмножество из k образцов содержит хотя бы один правильный образец: 1 минус C(n минус c, k), разделенный на C(n, k). Эта оценка является несмещенной и гораздо менее изменчивой. Ярлык включения c/n в 1 минус (1 минус p) в степени k является смещенным. Температура отбора проб имеет значение. Pass@1 обычно лучше всего работает при низкой температуре, тогда как pass@100 выигрывает от более высокой температуры, поскольку более разнообразные образцы повышают вероятность того, что один из них сработает. В газетах часто выбирают разные температуры для каждого k. Тесты агентов добавили дополнительный показатель. В статье tau-bench от Sierra (2024) определен pass^k, вероятность того, что все k независимых испытаний будут успешными. Он измеряет надежность, а не возможности. Распространенные ошибки при чтении включают сравнение pass@10 одной модели с pass@1 другой, забывание о том, что pass@k предполагает, что что-то уже знает, какой образец правильный, и рассмотрение pass@1 жадного декодирования как идентичного выбранному pass@1. Слабые модульные тесты увеличивают каждое число pass@k, поэтому EvalPlus добавил в HumanEval гораздо больше тестов, и результаты упали.

Реальная реализация

Команда, оценивающая модель кода на HumanEval, выбирает по 200 завершений для каждой задачи, подсчитывает, сколько из них прошли тесты, и сообщает о проходах @1, pass@10 и pass@100 из этого одного набора образцов с использованием несмещенного оценщика.

Автозаполнение редактора, которое показывает одно предложение, должно оцениваться по pass@1, а инструмент, который генерирует пять кандидатов и запускает ваш набор тестов, чтобы выбрать рабочий, ближе к ситуации pass@5.

Агент службы поддержки клиентов, добившийся успеха в 75 процентах испытаний, выглядит сильным на pass@k, но если испытания независимы, его балл pass^4 (все четыре испытания успешны) составляет всего около 0,32, что показывает, насколько ненадежным он будет казаться при повторном использовании.

Система конкурсного программирования генерирует множество программ-кандидатов, фильтрует их по примерам тестов и отправляет небольшое количество; его заявленная скорость решения зависит от того, сколько заявок было разрешено, что представляет собой бюджет в стиле pass@k.

Объяснение будущего метрики Pass@k

По мере того, как модели переходят от одиночного завершения к многоэтапным агентам, меры надежности, такие как pass^k и согласованность между проходами, привлекают все больше внимания наряду с pass@k, поскольку пользователи сталкиваются с одной попыткой, а не с лучшей из многих. Авторы тестов также инвестируют в более сильные наборы тестов, поскольку слабые тесты пропускают неправильный код и завышают каждую метрику. В тщательных отчетах должны быть указаны k, количество образцов, температура и был ли использован какой-либо этап отбора, но практика различается, поэтому читателям следует продолжать проверять эти детали, а не предполагать их.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Pass@k Metric Explained quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое метрика Pass@k?

Pass@k — это вероятность того, что хотя бы одна из k выборочных попыток модели решит проблему, обычно проверяется путем запуска скрытых модульных тестов сгенерированного кода. Это важно, поскольку тесты кода и агентов сообщают об этом постоянно, а результат pass@10 или pass@100 может выглядеть намного лучше, чем тот, который пользователь получает за одну попытку.

Что pass@k измеряет для одной проблемы?

Pass@k — это вероятность того, что хотя бы одна из k попыток окажется успешной. Эталонный балл усредняет эту вероятность по всем задачам.

HumanEval, тест, представленный в статье Codex, что содержит?

HumanEval содержит 164 написанных от руки задачи Python, каждая из которых проверена скрытыми модульными тестами.

Почему статья Codex генерирует n выборок с n больше k?

Генерация ровно k выборок дает зашумленную оценку. Использование n выборок и подсчет c правильных позволяет получить несмещенную оценку с гораздо меньшей дисперсией.

Если n выборок и c верны, какое выражение является несмещенной оценкой pass@k?

Это единица минус вероятность того, что случайное k-подмножество содержит только неправильные выборки. C(c, k)/C(n, k) — это оценщик pass^k, а ярлык power-k смещен.

Что измеряет pass^k, определенный в статье tau-bench?

Pass^k требует, чтобы каждое испытание было успешным, поэтому он измеряет надежность, что важно для агентов, обслуживающих множество пользователей.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →