KI-Glossarbegriff

Was ist HumanEval?

Definition

Ein Benchmark für Python-Programmierprobleme, mit dem die Korrektheit der Codegenerierung mithilfe von Komponententests gemessen wird.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

BenchmarkEin standardisierter Test oder Datensatz zum Messen und Vergleichen der Modellleistung.GSM8KEin Benchmark für mathematische Wortaufgaben in der Grundschule, der zur Bewertung des schrittweisen Denkens in Sprachmodellen verwendet wird.BewertungssetEin zurückgehaltener Datensatz, der zur Messung der Modellqualität nach dem Training verwendet wird.TestzeitberechnungZusätzliche Inferenzberechnungen, die während der Antwortgenerierung verwendet werden, um die Qualität oder Argumentation zu verbessern.Pass@kEine Code-Bewertungsmetrik, die die Wahrscheinlichkeit misst, dass mindestens eine von k generierten Stichproben die Tests besteht.KI-GovernanceRichtlinien, Standards und Aufsichtsmechanismen, die die Entwicklung und Nutzung von KI in der Gesellschaft steuern.

Siehe auch

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training