co je HumanEval?

Standardizovaný test nebo soubor dat používaný k měření a porovnávání výkonu modelu.

Srovnávací test slovních úloh z matematiky pro základní školy používaný k vyhodnocení postupného uvažování v jazykových modelech.

Zadržená datová sada používaná k měření kvality modelu po školení.

Další inferenční výpočet používaný během generování odezvy ke zlepšení kvality nebo uvažování.

Metrika kódového hodnocení měřící šanci, že alespoň jeden z k generovaných vzorků projde testy.

Zásady, standardy a mechanismy dohledu, které řídí vývoj a používání umělé inteligence ve společnosti.