What is HumanEval? Definition | AI Understanding

Визначення

Еталонний тест проблем програмування на Python, який використовується для вимірювання правильності генерації коду за допомогою модульних тестів.

Споріднені терміни

Стандартизований тест або набір даних, який використовується для вимірювання та порівняння продуктивності моделі.

Тест початкових шкільних математичних текстових задач, які використовуються для оцінки покрокових міркувань у мовних моделях.

Набір для оцінювання

Захищений набір даних, який використовується для вимірювання якості моделі після навчання.

Обчислення тестового часу

Додаткове обчислення логічного висновку, яке використовується під час генерації відповіді для покращення якості чи аргументації.

Показник оцінки коду, який вимірює ймовірність того, що принаймні один із k згенерованих зразків пройде тести.

Управління AI

Політики, стандарти та механізми нагляду, які керують розробкою та використанням ШІ в суспільстві.

See also

MMLU Factuality LLM-as-Judge Citations Bi-Encoder Watermarking Cross-Encoder Mid-training

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту