O que é MMLU?

Usar um modelo de linguagem para pontuar ou comparar resultados de outros modelos durante a avaliação.

Uma referência de problemas de palavras matemáticas do ensino fundamental usado para avaliar o raciocínio passo a passo em modelos de linguagem.

Contexto armazenado que um agente de IA usa em etapas ou sessões para melhorar a continuidade.

Um modelo que pode processar ou gerar vários tipos de dados, como texto, imagem e áudio.

Um catálogo central para controle de versão, aprovação e rastreamento de modelos em vários ambientes.

Um hipotético sistema de IA que pode realizar a maioria das tarefas intelectuais em nível humano em muitos domínios.