Ce este HumanEval?

Un test standardizat sau un set de date utilizat pentru a măsura și compara performanța modelului.

Un punct de referință al problemelor de cuvinte de matematică din școală, folosit pentru a evalua raționamentul pas cu pas în modelele lingvistice.

Un set de date păstrat folosit pentru a măsura calitatea modelului după antrenament.

Calcul de inferență suplimentar utilizat în timpul generării răspunsului pentru a îmbunătăți calitatea sau raționamentul.

O metrică de evaluare a codului care măsoară șansa ca cel puțin unul dintre k eșantioane generate să treacă testele.

Politici, standarde și mecanisme de supraveghere care ghidează modul în care AI este dezvoltată și utilizată în societate.