Termo do glossário de IA

O que é MMLU?

Definição

Um benchmark que testa modelos de linguagem em 57 disciplinas acadêmicas e profissionais usando questões de múltipla escolha.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

LLM como juizUsar um modelo de linguagem para pontuar ou comparar resultados de outros modelos durante a avaliação.GSM8KUma referência de problemas de palavras matemáticas do ensino fundamental usado para avaliar o raciocínio passo a passo em modelos de linguagem.Memória (memória do agente)Contexto armazenado que um agente de IA usa em etapas ou sessões para melhorar a continuidade.Modelo MultimodalUm modelo que pode processar ou gerar vários tipos de dados, como texto, imagem e áudio.Registro de modeloUm catálogo central para controle de versão, aprovação e rastreamento de modelos em vários ambientes.AGI (Inteligência Geral Artificial)Um hipotético sistema de IA que pode realizar a maioria das tarefas intelectuais em nível humano em muitos domínios.

Veja também

Pass@kHumanEvalBi-EncoderFactualityCross-EncoderCitationsHybrid SearchWatermarking