Termen de glosar AI

Ce este HumanEval?

Definiție

Un punct de referință al problemelor de programare Python utilizat pentru a măsura corectitudinea generării codului prin teste unitare.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

BenchmarkUn test standardizat sau un set de date utilizat pentru a măsura și compara performanța modelului.GSM8KUn punct de referință al problemelor de cuvinte de matematică din școală, folosit pentru a evalua raționamentul pas cu pas în modelele lingvistice.Set de evaluareUn set de date păstrat folosit pentru a măsura calitatea modelului după antrenament.Calcularea timpului de testareCalcul de inferență suplimentar utilizat în timpul generării răspunsului pentru a îmbunătăți calitatea sau raționamentul.Pass@kO metrică de evaluare a codului care măsoară șansa ca cel puțin unul dintre k eșantioane generate să treacă testele.Guvernarea AIPolitici, standarde și mecanisme de supraveghere care ghidează modul în care AI este dezvoltată și utilizată în societate.

Vezi și

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training