Apa itu MMLU?

Menggunakan model bahasa untuk menilai atau membandingkan keluaran dari model lain selama evaluasi.

Tolok ukur soal cerita matematika sekolah dasar yang digunakan untuk mengevaluasi penalaran langkah demi langkah dalam model bahasa.

Konteks tersimpan yang digunakan agen AI di seluruh langkah atau sesi untuk meningkatkan kontinuitas.

Model yang dapat memproses atau menghasilkan beberapa tipe data seperti teks, gambar, dan audio.

Katalog pusat untuk pembuatan versi, persetujuan, dan pelacakan model di seluruh lingkungan.

Sistem AI hipotetis yang dapat melakukan sebagian besar tugas intelektual pada tingkat manusia di banyak domain.