What is HumanEval? Definition | AI Understanding

Определение

Эталон задач программирования на Python, используемый для измерения правильности генерации кода с помощью модульных тестов.

Связанные термины

Контрольный показатель

Стандартизированный тест или набор данных, используемый для измерения и сравнения производительности модели.

Эталон математических словесных задач в начальной школе, используемый для оценки пошаговых рассуждений в языковых моделях.

Оценочный набор

Отложенный набор данных, используемый для измерения качества модели после обучения.

Вычисление во время тестирования

Дополнительные вычисления вывода, используемые во время формирования ответа для улучшения качества или рассуждения.

Метрика оценки кода, измеряющая вероятность того, что хотя бы один из k сгенерированных образцов пройдет тесты.

Управление ИИ

Политика, стандарты и механизмы надзора, которые определяют, как ИИ разрабатывается и используется в обществе.

См. также

MMLU Factuality LLM-as-Judge Citations Bi-Encoder Watermarking Cross-Encoder Mid-training

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту