Qu'est-ce que MMLU?

Utiliser un modèle de langage pour noter ou comparer les résultats d'autres modèles lors de l'évaluation.

Une référence de problèmes de mots mathématiques à l'école primaire utilisée pour évaluer le raisonnement étape par étape dans les modèles de langage.

Contexte stocké qu'un agent IA utilise au fil des étapes ou des sessions pour améliorer la continuité.

Un modèle capable de traiter ou de générer plusieurs types de données tels que du texte, des images et de l'audio.

Un catalogue central pour la gestion des versions, l'approbation et le suivi des modèles dans tous les environnements.

Un système d’IA hypothétique capable d’effectuer la plupart des tâches intellectuelles au niveau humain dans de nombreux domaines.