Istilah Glosari AI

Apakah HumanEval?

Definisi

Penanda aras masalah pengaturcaraan Python yang digunakan untuk mengukur ketepatan penjanaan kod melalui ujian unit.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

Penanda arasUjian piawai atau set data yang digunakan untuk mengukur dan membandingkan prestasi model.GSM8KPenanda aras masalah perkataan matematik sekolah gred yang digunakan untuk menilai penaakulan langkah demi langkah dalam model bahasa.Set PenilaianSet data yang disimpan digunakan untuk mengukur kualiti model selepas latihan.Pengiraan Masa UjianPengiraan inferens tambahan yang digunakan semasa penjanaan tindak balas untuk meningkatkan kualiti atau penaakulan.Lulus@kMetrik penilaian kod yang mengukur peluang bahawa sekurang-kurangnya satu daripada k sampel yang dijana lulus ujian.Tadbir Urus AIDasar, piawaian dan mekanisme pengawasan yang membimbing cara AI dibangunkan dan digunakan dalam masyarakat.

Lihat juga

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training