Termin ze słownika AI

Czym jest HumanEval?

Definicja

Test porównawczy problemów programistycznych w języku Python używany do pomiaru poprawności generowania kodu za pomocą testów jednostkowych.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Punkt odniesieniaStandaryzowany test lub zbiór danych używany do pomiaru i porównania wydajności modelu.GSM8KTest porównawczy problemów tekstowych z matematyki w szkole podstawowej, używany do oceny rozumowania krok po kroku w modelach językowych.Zestaw ewaluacyjnyPrzetrzymywany zbiór danych używany do pomiaru jakości modelu po szkoleniu.Obliczanie czasu testuDodatkowe obliczenia wnioskowania wykorzystywane podczas generowania odpowiedzi w celu poprawy jakości lub rozumowania.Pass@kMetryka oceny kodu mierząca szansę, że co najmniej jedna z k wygenerowanych próbek przejdzie testy.Zarządzanie sztuczną inteligencjąPolityki, standardy i mechanizmy nadzoru, które kierują rozwojem i wykorzystaniem sztucznej inteligencji w społeczeństwie.

Zobacz także

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training