Término del glosario de IA

¿Qué es MMLU?

Definición

Un punto de referencia que prueba modelos de lenguaje en 57 materias académicas y profesionales mediante preguntas de opción múltiple.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

LLM como juezUsar un modelo de lenguaje para calificar o comparar resultados de otros modelos durante la evaluación.GSM8KUn punto de referencia de los problemas escritos de matemáticas de la escuela primaria que se utiliza para evaluar el razonamiento paso a paso en modelos de lenguaje.Memoria (memoria del agente)Contexto almacenado que un agente de IA utiliza en todos los pasos o sesiones para mejorar la continuidad.Modelo multimodalUn modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.Registro de modelosUn catálogo central para versiones, aprobación y seguimiento de modelos en todos los entornos.AGI (Inteligencia General Artificial)Un hipotético sistema de IA que puede realizar la mayoría de las tareas intelectuales a nivel humano en muchos dominios.

Véase también

Pass@kHumanEvalBi-EncoderFactualityCross-EncoderCitationsHybrid SearchWatermarking