Kini HumanEval? Itumọ | AI Understanding

Itumọ

Aṣepari ti awọn iṣoro siseto Python ti a lo lati wiwọn deede-iran koodu nipasẹ awọn idanwo ẹyọkan.

Awọn ofin ti o jọmọ

Idanwo idiwon tabi data ti a lo lati ṣe iwọn ati ṣe afiwe iṣẹ awoṣe.

Aṣepari ti awọn iṣoro ọrọ mathimatiki ite-ile-iwe ti a lo lati ṣe iṣiro ero-igbesẹ-igbesẹ ni awọn awoṣe ede.

Eto Igbelewọn

Atokọ data ti o waye ti a lo lati wiwọn didara awoṣe lẹhin ikẹkọ.

Iṣiro-Aago Idanwo

Afikun iṣiro inference ti a lo lakoko iran esi lati mu didara dara tabi ero inu.

Metiriki igbelewọn koodu kan ti o nwọn aye pe o kere ju ọkan ninu awọn ayẹwo ti ipilẹṣẹ k kọja awọn idanwo naa.

Awọn eto imulo, awọn iṣedede, ati awọn ilana abojuto ti o ṣe itọsọna bi AI ṣe dagbasoke ati lo ni awujọ.

Wo tun

MMLU Factuality LLM-as-Judge Citations Bi-Encoder Watermarking Cross-Encoder Mid-training

Ṣawakiri ni kikun AI Gilosari Ṣawari gbogbo awọn itọsọna AI ọfẹ