ДалееСледующее руководство
Метрики оценки RAG и RAGAS
Технический
Техническое РУКОВОДСТВО
Pass@k — это вероятность того, что хотя бы одна из k выборочных попыток модели решит проблему, обычно проверяется путем запуска скрытых модульных тестов сгенерированного кода.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, поскольку тесты кода и агентов сообщают об этом постоянно, а результат pass@10 или pass@100 может выглядеть намного лучше, чем тот, который пользователь получает за одну попытку.
Pass@k вырос из исследований по синтезу программ, где Кулал и его коллеги использовали его в 2019 году для задач преобразования псевдокода в код, и он стал стандартом после статьи OpenAI 2021 года Codex, в которой был представлен HumanEval, набор из 164 рукописных задач программирования Python. Для каждой проблемы модель записывает функцию, и функция считается правильной только в том случае, если она проходит скрытые модульные тесты. Pass@k спрашивает: если вы взяли k образцов, какова вероятность того, что хотя бы один пройдет? Контрольный балл – это средняя вероятность по всем задачам. Наивный метод состоит в том, чтобы сгенерировать ровно k выборок для каждой задачи и проверить, прошли ли они, но эта оценка очень зашумлена. Вместо этого документ Codex генерирует n выборок, где n больше k (например, 200), подсчитывает c правильных образцов и вычисляет вероятность того, что случайное подмножество из k образцов содержит хотя бы один правильный образец: 1 минус C(n минус c, k), разделенный на C(n, k). Эта оценка является несмещенной и гораздо менее изменчивой. Ярлык включения c/n в 1 минус (1 минус p) в степени k является смещенным. Температура отбора проб имеет значение. Pass@1 обычно лучше всего работает при низкой температуре, тогда как pass@100 выигрывает от более высокой температуры, поскольку более разнообразные образцы повышают вероятность того, что один из них сработает. В газетах часто выбирают разные температуры для каждого k. Тесты агентов добавили дополнительный показатель. В статье tau-bench от Sierra (2024) определен pass^k, вероятность того, что все k независимых испытаний будут успешными. Он измеряет надежность, а не возможности. Распространенные ошибки при чтении включают сравнение pass@10 одной модели с pass@1 другой, забывание о том, что pass@k предполагает, что что-то уже знает, какой образец правильный, и рассмотрение pass@1 жадного декодирования как идентичного выбранному pass@1. Слабые модульные тесты увеличивают каждое число pass@k, поэтому EvalPlus добавил в HumanEval гораздо больше тестов, и результаты упали.
Команда, оценивающая модель кода на HumanEval, выбирает по 200 завершений для каждой задачи, подсчитывает, сколько из них прошли тесты, и сообщает о проходах @1, pass@10 и pass@100 из этого одного набора образцов с использованием несмещенного оценщика.
Автозаполнение редактора, которое показывает одно предложение, должно оцениваться по pass@1, а инструмент, который генерирует пять кандидатов и запускает ваш набор тестов, чтобы выбрать рабочий, ближе к ситуации pass@5.
Агент службы поддержки клиентов, добившийся успеха в 75 процентах испытаний, выглядит сильным на pass@k, но если испытания независимы, его балл pass^4 (все четыре испытания успешны) составляет всего около 0,32, что показывает, насколько ненадежным он будет казаться при повторном использовании.
Система конкурсного программирования генерирует множество программ-кандидатов, фильтрует их по примерам тестов и отправляет небольшое количество; его заявленная скорость решения зависит от того, сколько заявок было разрешено, что представляет собой бюджет в стиле pass@k.
По мере того, как модели переходят от одиночного завершения к многоэтапным агентам, меры надежности, такие как pass^k и согласованность между проходами, привлекают все больше внимания наряду с pass@k, поскольку пользователи сталкиваются с одной попыткой, а не с лучшей из многих. Авторы тестов также инвестируют в более сильные наборы тестов, поскольку слабые тесты пропускают неправильный код и завышают каждую метрику. В тщательных отчетах должны быть указаны k, количество образцов, температура и был ли использован какой-либо этап отбора, но практика различается, поэтому читателям следует продолжать проверять эти детали, а не предполагать их.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Pass@k — это вероятность того, что хотя бы одна из k выборочных попыток модели решит проблему, обычно проверяется путем запуска скрытых модульных тестов сгенерированного кода. Это важно, поскольку тесты кода и агентов сообщают об этом постоянно, а результат pass@10 или pass@100 может выглядеть намного лучше, чем тот, который пользователь получает за одну попытку.
Pass@k — это вероятность того, что хотя бы одна из k попыток окажется успешной. Эталонный балл усредняет эту вероятность по всем задачам.
HumanEval содержит 164 написанных от руки задачи Python, каждая из которых проверена скрытыми модульными тестами.
Генерация ровно k выборок дает зашумленную оценку. Использование n выборок и подсчет c правильных позволяет получить несмещенную оценку с гораздо меньшей дисперсией.
Это единица минус вероятность того, что случайное k-подмножество содержит только неправильные выборки. C(c, k)/C(n, k) — это оценщик pass^k, а ярлык power-k смещен.
Pass^k требует, чтобы каждое испытание было успешным, поэтому он измеряет надежность, что важно для агентов, обслуживающих множество пользователей.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Метрики оценки RAG и RAGAS
Технический