Terme du glossaire IA

Qu’est-ce que MMLU ?

Définition

Une référence testant des modèles linguistiques dans 57 matières académiques et professionnelles à l'aide de questions à choix multiples.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

LLM-en tant que jugeUtiliser un modèle de langage pour noter ou comparer les résultats d'autres modèles lors de l'évaluation.GSM8KUne référence de problèmes de mots mathématiques à l'école primaire utilisée pour évaluer le raisonnement étape par étape dans les modèles de langage.Mémoire (mémoire de l'agent)Contexte stocké qu'un agent IA utilise au fil des étapes ou des sessions pour améliorer la continuité.Modèle multimodalUn modèle capable de traiter ou de générer plusieurs types de données tels que du texte, des images et de l'audio.Registre des modèlesUn catalogue central pour la gestion des versions, l'approbation et le suivi des modèles dans tous les environnements.AGI (Intelligence Générale Artificielle)Un système d’IA hypothétique capable d’effectuer la plupart des tâches intellectuelles au niveau humain dans de nombreux domaines.

Voir aussi

Pass@kHumanEvalBi-EncoderFactualityCross-EncoderCitationsHybrid SearchWatermarking