Qu'est-ce que HumanEval?

Un test ou un ensemble de données standardisé utilisé pour mesurer et comparer les performances du modèle.

Une référence de problèmes de mots mathématiques à l'école primaire utilisée pour évaluer le raisonnement étape par étape dans les modèles de langage.

Un ensemble de données conservé utilisé pour mesurer la qualité du modèle après la formation.

Calcul d'inférence supplémentaire utilisé lors de la génération de réponses pour améliorer la qualité ou le raisonnement.

Une métrique d'évaluation de code mesurant la chance qu'au moins un des k échantillons générés réussisse les tests.

Politiques, normes et mécanismes de surveillance qui guident la manière dont l’IA est développée et utilisée dans la société.