What is Eval Harness? Definition | AI Understanding

Définition

Un cadre d'évaluation reproductible qui exécute des invites, des ensembles de données et une logique de notation dans toutes les versions du modèle.

Termes associés

Ensemble d'évaluation

Un ensemble de données conservé utilisé pour mesurer la qualité du modèle après la formation.

AGI (Intelligence Générale Artificielle)

Un système d’IA hypothétique capable d’effectuer la plupart des tâches intellectuelles au niveau humain dans de nombreux domaines.

Transparence algorithmique

Dans quelle mesure la logique, les sources de données et les limites d'un système d'IA sont documentées et compréhensibles.

Ensembles de données très volumineux et complexes qui nécessitent des techniques de stockage et de traitement évolutives.

Mémoire (mémoire de l'agent)

Contexte stocké qu'un agent IA utilise au fil des étapes ou des sessions pour améliorer la continuité.

Prompt Engineering

Concevoir des invites pour améliorer la qualité, la fiabilité et la contrôlabilité de la sortie.

Apprenez-en davantage dans nos guides gratuits

AI Evaluation Basics LLM Evaluations Retrieval Quality Linear Probing and Frozen Feature Evaluation

Voir aussi

Embedding Model Feature Store Distilled Model Groundedness Differential Privacy Guarded Decoding Data Provenance Human Preference Model

Parcourez le glossaire complet de l'IA Explorez tous les guides gratuits sur l'IA