Глоссарий терминов искусственного интеллекта

Что такое HumanEval?

Определение

Эталон задач программирования на Python, используемый для измерения правильности генерации кода с помощью модульных тестов.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Контрольный показательСтандартизированный тест или набор данных, используемый для измерения и сравнения производительности модели.GSM8KЭталон математических словесных задач в начальной школе, используемый для оценки пошаговых рассуждений в языковых моделях.Оценочный наборОтложенный набор данных, используемый для измерения качества модели после обучения.Вычисление во время тестированияДополнительные вычисления вывода, используемые во время формирования ответа для улучшения качества или рассуждения.Пас@кМетрика оценки кода, измеряющая вероятность того, что хотя бы один из k сгенерированных образцов пройдет тесты.Управление ИИПолитика, стандарты и механизмы надзора, которые определяют, как ИИ разрабатывается и используется в обществе.

См. также

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training