Термин от речника на AI

Какво е HumanEval?

Определение

Еталон на проблеми с програмирането на Python, използвани за измерване на коректността на генериране на код чрез тестове на единици.

Свързани термини

Бенчмарк
Стандартизиран тест или набор от данни, използвани за измерване и сравняване на ефективността на модела.
GSM8K
Еталон на текстови задачи по математика в началното училище, използвани за оценка на разсъждение стъпка по стъпка в езикови модели.
Комплект за оценка
Задържан набор от данни, използван за измерване на качеството на модела след обучение.
Изчисляване на тестово време
Допълнителни изчисления за изводи, използвани по време на генериране на отговор за подобряване на качеството или разсъжденията.
Pass@k
Показател за оценка на кода, измерващ шанса поне една от k генерирани проби да премине тестовете.
AI управление
Политики, стандарти и механизми за надзор, които ръководят как AI се разработва и използва в обществото.

See also

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training
Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI