Apa itu HumanEval?

Ujian piawai atau set data yang digunakan untuk mengukur dan membandingkan prestasi model.

Penanda aras masalah perkataan matematik sekolah gred yang digunakan untuk menilai penaakulan langkah demi langkah dalam model bahasa.

Set data yang disimpan digunakan untuk mengukur kualiti model selepas latihan.

Pengiraan inferens tambahan yang digunakan semasa penjanaan tindak balas untuk meningkatkan kualiti atau penaakulan.

Metrik penilaian kod yang mengukur peluang bahawa sekurang-kurangnya satu daripada k sampel yang dijana lulus ujian.

Dasar, piawaian dan mekanisme pengawasan yang membimbing cara AI dibangunkan dan digunakan dalam masyarakat.