Термін глосарію AI

Що таке HumanEval?

Визначення

Еталонний тест проблем програмування на Python, який використовується для вимірювання правильності генерації коду за допомогою модульних тестів.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

ЕталонСтандартизований тест або набір даних, який використовується для вимірювання та порівняння продуктивності моделі.GSM8KТест початкових шкільних математичних текстових задач, які використовуються для оцінки покрокових міркувань у мовних моделях.Набір для оцінюванняЗахищений набір даних, який використовується для вимірювання якості моделі після навчання.Обчислення тестового часуДодаткове обчислення логічного висновку, яке використовується під час генерації відповіді для покращення якості чи аргументації.Pass@kПоказник оцінки коду, який вимірює ймовірність того, що принаймні один із k згенерованих зразків пройде тести.Управління AIПолітики, стандарти та механізми нагляду, які керують розробкою та використанням ШІ в суспільстві.

Дивіться також

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training