Vad är HumanEval?

Ett standardiserat test eller datauppsättning som används för att mäta och jämföra modellprestanda.

Ett riktmärke för matematiska ordproblem i grundskolan som används för att utvärdera steg-för-steg-resonemang i språkmodeller.

En uthållen datauppsättning som används för att mäta modellkvalitet efter träning.

Ytterligare slutledningsberäkning som används under svarsgenerering för att förbättra kvalitet eller resonemang.

Ett kodutvärderingsmått som mäter chansen att minst ett av k genererade sampel klarar testerna.

Policyer, standarder och tillsynsmekanismer som styr hur AI utvecklas och används i samhället.