Was ist HumanEval?

Ein standardisierter Test oder Datensatz zum Messen und Vergleichen der Modellleistung.

Ein Benchmark für mathematische Wortaufgaben in der Grundschule, der zur Bewertung des schrittweisen Denkens in Sprachmodellen verwendet wird.

Ein zurückgehaltener Datensatz, der zur Messung der Modellqualität nach dem Training verwendet wird.

Zusätzliche Inferenzberechnungen, die während der Antwortgenerierung verwendet werden, um die Qualität oder Argumentation zu verbessern.

Eine Code-Bewertungsmetrik, die die Wahrscheinlichkeit misst, dass mindestens eine von k generierten Stichproben die Tests besteht.

Richtlinien, Standards und Aufsichtsmechanismen, die die Entwicklung und Nutzung von KI in der Gesellschaft steuern.