Muda wa Kamusi ya AI

Ni nini HumanEval?

Ufafanuzi

Kigezo cha matatizo ya programu ya Python kinachotumika kupima usahihi wa uundaji wa msimbo kupitia majaribio ya kitengo.

Masharti yanayohusiana

Benchmark
Jaribio sanifu au seti ya data inayotumika kupima na kulinganisha utendakazi wa muundo.
GSM8K
Kigezo cha matatizo ya neno la hesabu la shule ya sekondari kinachotumiwa kutathmini hoja za hatua kwa hatua katika miundo ya lugha.
Seti ya Tathmini
Seti ya data iliyosimamishwa inayotumika kupima ubora wa kielelezo baada ya mafunzo.
Kokotoo la Muda wa Mtihani
Kokotoo la ziada la uelekezaji linalotumika wakati wa kutoa majibu ili kuboresha ubora au hoja.
Pass@k
Kipimo cha tathmini ya msimbo kinachopima uwezekano kwamba angalau sampuli moja kati ya k iliyozalishwa itafaulu majaribio.
Utawala wa AI
Sera, viwango, na taratibu za uangalizi zinazoongoza jinsi AI inavyotengenezwa na kutumika katika jamii.

See also

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training
Vinjari Kamusi kamili ya AIGundua miongozo yote ya bure ya AI