Término del glosario de IA

que es MMLU?

Definición

Un punto de referencia que prueba modelos de lenguaje en 57 materias académicas y profesionales mediante preguntas de opción múltiple.

Términos relacionados

LLM como juez
Usar un modelo de lenguaje para calificar o comparar resultados de otros modelos durante la evaluación.
GSM8K
Un punto de referencia de los problemas escritos de matemáticas de la escuela primaria que se utiliza para evaluar el razonamiento paso a paso en modelos de lenguaje.
Memoria (memoria del agente)
Contexto almacenado que un agente de IA utiliza en todos los pasos o sesiones para mejorar la continuidad.
Modelo multimodal
Un modelo que puede procesar o generar múltiples tipos de datos, como texto, imagen y audio.
Registro de modelos
Un catálogo central para versiones, aprobación y seguimiento de modelos en todos los entornos.
AGI (Inteligencia General Artificial)
Un hipotético sistema de IA que puede realizar la mayoría de las tareas intelectuales a nivel humano en muchos dominios.

See also

Pass@kHumanEvalBi-EncoderFactualityCross-EncoderCitationsHybrid SearchWatermarking
Explore el glosario completo de IAExplora todas las guías gratuitas de IA