Mi az HumanEval?

A modell teljesítményének mérésére és összehasonlítására használt szabványos teszt vagy adatkészlet.

Az általános iskolai matematikai szöveges feladatok referenciaértéke, amelyet a nyelvi modellek lépésről lépésre történő érvelésének értékelésére használnak.

Kinyújtott adatkészlet, amelyet a modell minőségének mérésére használnak edzés után.

A válaszgenerálás során a minőség vagy az érvelés javítása érdekében használt további következtetési számítások.

Kódértékelési metrika, amely azt az esélyt méri, hogy k generált minta közül legalább egy megfelel a teszteknek.

Irányelvek, szabványok és felügyeleti mechanizmusok, amelyek irányítják a mesterséges intelligencia fejlesztését és felhasználását a társadalomban.