Ce este MMLU?

Utilizarea unui model lingvistic pentru a nota sau a compara rezultate de la alte modele în timpul evaluării.

Un punct de referință al problemelor de cuvinte de matematică din școală, folosit pentru a evalua raționamentul pas cu pas în modelele lingvistice.

Context stocat pe care un agent AI îl folosește în pași sau sesiuni pentru a îmbunătăți continuitatea.

Un model care poate procesa sau genera mai multe tipuri de date, cum ar fi text, imagine și audio.

Un catalog central pentru versiunea, aprobarea și urmărirea modelelor în medii.

Un sistem AI ipotetic care poate îndeplini majoritatea sarcinilor intelectuale la nivel uman în multe domenii.