Wat is MenselijkEval?

Een gestandaardiseerde test of dataset die wordt gebruikt om de prestaties van modellen te meten en te vergelijken.

Een benchmark voor wiskundige woordproblemen op de basisschool, gebruikt om stapsgewijs redeneren in taalmodellen te evalueren.

Een vastgehouden dataset die wordt gebruikt om de modelkwaliteit na training te meten.

Aanvullende gevolgtrekkingsberekening die wordt gebruikt tijdens het genereren van antwoorden om de kwaliteit of redenering te verbeteren.

Een code-evaluatiemetriek die de kans meet dat ten minste één van de k gegenereerde monsters de tests doorstaat.

Beleid, normen en toezichtsmechanismen die bepalen hoe AI wordt ontwikkeld en gebruikt in de samenleving.