Terme du glossaire IA

Qu’est-ce que HumanEval ?

Définition

Un benchmark des problèmes de programmation Python utilisé pour mesurer l'exactitude de la génération de code via des tests unitaires.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

RéférenceUn test ou un ensemble de données standardisé utilisé pour mesurer et comparer les performances du modèle.GSM8KUne référence de problèmes de mots mathématiques à l'école primaire utilisée pour évaluer le raisonnement étape par étape dans les modèles de langage.Ensemble d'évaluationUn ensemble de données conservé utilisé pour mesurer la qualité du modèle après la formation.Calcul au moment du testCalcul d'inférence supplémentaire utilisé lors de la génération de réponses pour améliorer la qualité ou le raisonnement.Pass@kUne métrique d'évaluation de code mesurant la chance qu'au moins un des k échantillons générés réussisse les tests.Gouvernance de l'IAPolitiques, normes et mécanismes de surveillance qui guident la manière dont l’IA est développée et utilisée dans la société.

Voir aussi

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training