KI-Glossarbegriff

Was ist MMLU?

Definition

Ein Benchmark, bei dem Sprachmodelle in 57 akademischen und beruflichen Fächern anhand von Multiple-Choice-Fragen getestet werden.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

LLM-als-RichterVerwendung eines Sprachmodells zur Bewertung oder zum Vergleich der Ergebnisse anderer Modelle während der Evaluierung.GSM8KEin Benchmark für mathematische Wortaufgaben in der Grundschule, der zur Bewertung des schrittweisen Denkens in Sprachmodellen verwendet wird.Speicher (Agentenspeicher)Gespeicherter Kontext, den ein KI-Agent schritt- oder sitzungsübergreifend verwendet, um die Kontinuität zu verbessern.Multimodales ModellEin Modell, das mehrere Datentypen wie Text, Bild und Audio verarbeiten oder generieren kann.ModellregisterEin zentraler Katalog zur Versionierung, Genehmigung und Nachverfolgung von Modellen in verschiedenen Umgebungen.AGI (Künstliche Allgemeine Intelligenz)Ein hypothetisches KI-System, das die meisten intellektuellen Aufgaben in vielen Bereichen auf menschlicher Ebene ausführen kann.

Siehe auch

Pass@kHumanEvalBi-EncoderFactualityCross-EncoderCitationsHybrid SearchWatermarking