คืออะไร HumanEval?

การทดสอบหรือชุดข้อมูลที่เป็นมาตรฐานที่ใช้ในการวัดและเปรียบเทียบประสิทธิภาพของโมเดล

เกณฑ์มาตรฐานของปัญหาคำศัพท์ทางคณิตศาสตร์ในโรงเรียนประถมที่ใช้ในการประเมินการใช้เหตุผลแบบทีละขั้นตอนในแบบจำลองภาษา

ชุดข้อมูลที่เก็บไว้ซึ่งใช้ในการวัดคุณภาพของโมเดลหลังการฝึก

การคำนวณอนุมานเพิ่มเติมที่ใช้ระหว่างการสร้างการตอบสนองเพื่อปรับปรุงคุณภาพหรือการใช้เหตุผล

ตัวชี้วัดการประเมินโค้ดที่วัดโอกาสที่ตัวอย่างที่สร้างอย่างน้อยหนึ่งตัวอย่าง k จะผ่านการทดสอบ

นโยบาย มาตรฐาน และกลไกกำกับดูแลที่เป็นแนวทางในการพัฒนาและใช้งาน AI ในสังคม