What is HumanEval? Definition | AI Understanding

Definicja

Test porównawczy problemów programistycznych w języku Python używany do pomiaru poprawności generowania kodu za pomocą testów jednostkowych.

Powiązane terminy

Punkt odniesienia

Standaryzowany test lub zbiór danych używany do pomiaru i porównania wydajności modelu.

Test porównawczy problemów tekstowych z matematyki w szkole podstawowej, używany do oceny rozumowania krok po kroku w modelach językowych.

Zestaw ewaluacyjny

Przetrzymywany zbiór danych używany do pomiaru jakości modelu po szkoleniu.

Obliczanie czasu testu

Dodatkowe obliczenia wnioskowania wykorzystywane podczas generowania odpowiedzi w celu poprawy jakości lub rozumowania.

Metryka oceny kodu mierząca szansę, że co najmniej jedna z k wygenerowanych próbek przejdzie testy.

Zarządzanie sztuczną inteligencją

Polityki, standardy i mechanizmy nadzoru, które kierują rozwojem i wykorzystaniem sztucznej inteligencji w społeczeństwie.

Zobacz także

MMLU Factuality LLM-as-Judge Citations Bi-Encoder Watermarking Cross-Encoder Mid-training

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI