KI-Glossarbegriff

Was ist Benchmark?

Definition

Ein standardisierter Test oder Datensatz zum Messen und Vergleichen der Modellleistung.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

Benchmark-LeakageWenn Benchmark-Testbeispiele oder ähnliche Varianten in Trainingsdaten vorhanden sind, erhöht sich die gemeldete Leistung.BewertungssetEin zurückgehaltener Datensatz, der zur Messung der Modellqualität nach dem Training verwendet wird.HumanEvalEin Benchmark für Python-Programmierprobleme, mit dem die Korrektheit der Codegenerierung mithilfe von Komponententests gemessen wird.BasismodellEin einfaches Referenzmodell, das verwendet wird, um zu vergleichen, ob komplexere Ansätze tatsächlich die Ergebnisse verbessern.DatensatzEine Sammlung strukturierter oder unstrukturierter Beispiele, die für Schulung, Validierung oder Tests verwendet werden.ValidierungssatzEin Datensatz, der während der Entwicklung verwendet wird, um Modelle zu optimieren und eine Überanpassung zu verhindern.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

AI BenchmarksBenchmark ContaminationSWE-bench and Coding Agent BenchmarksIFEval and Instruction-Following Benchmarks

Siehe auch

BiasBackpropagationBig DataAutonomous SystemBlack-Box ModelAttention MechanismCalibrationArtificial Intelligence (AI)