Vad är MMLU?

Använda en språkmodell för att poängsätta eller jämföra resultat från andra modeller under utvärdering.

Ett riktmärke för matematiska ordproblem i grundskolan som används för att utvärdera steg-för-steg-resonemang i språkmodeller.

Lagrat sammanhang som en AI-agent använder över steg eller sessioner för att förbättra kontinuiteten.

En modell som kan bearbeta eller generera flera datatyper som text, bild och ljud.

En central katalog för versionering, godkännande och spårning av modeller i olika miljöer.

Ett hypotetiskt AI-system som kan utföra de flesta intellektuella uppgifter på mänsklig nivå över många domäner.