Quiz sur les évaluations LLM

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Que doit mesurer une évaluation LLM ?
   • Une tâche définie et ses conditions de défaillance pertinentes
   • Seulement si la réponse semble fluide
   • Les paramètres du modèle comptent seuls
   • Si un benchmark est populaire
2. Pourquoi évaluer la configuration système que les utilisateurs reçoivent réellement ?
   • Le modèle de base ne peut pas produire de texte
   • Les invites, la récupération, les outils et les limites d'appels peuvent modifier le comportement
   • L'application obtient toujours un score plus élevé
   • Un système déployé ne peut pas être testé
3. Quand la correspondance exacte peut-elle constituer un contrôle d’évaluation approprié ?
   • Pour chaque réponse ouverte
   • Uniquement lorsque les évaluateurs ne sont pas d'accord
   • Pour certains champs extraits ou tests exécutables
   • Pour mesurer le coût de réponse
4. Qu’est-ce qui aide les différents évaluateurs à appliquer une grille d’interprétation de manière cohérente ?
   • Masquer les critères de notation
   • Utiliser un seul score de préférence
   • Supprimez les exemples difficiles à juger
   • Rédigez clairement la rubrique et examinez les désaccords des évaluateurs.
5. Comment une équipe doit-elle valider un modèle utilisé pour noter les résultats ?
   • Comparez-le à des exemples examinés de manière indépendante et inspectez les effets d'ordre ou de style.
   • Traitez son score comme une preuve indépendante
   • Demander au même modèle de s'approuver
   • Utilisez uniquement sa note moyenne
6. Quels cas peuvent être utiles à inclure lorsqu’ils sont pertinents pour la demande ?
   • Seulement des questions courtes avec une réponse évidente
   • Questions sans réponse, sources contradictoires, cas à contexte long et instructions récupérées malveillantes
   • Seules les invites utilisées pendant le développement
   • Pas d'exemples difficiles
7. Comment les résultats de l’évaluation doivent-ils être rapportés ?
   • Comme numéro de préférence sans contexte
   • Uniquement par taille de modèle
   • Par tâche et gravité des erreurs
   • Pour affirmer que l'incertitude est éliminée
8. Que doit faire une équipe avec des exemples échoués ?
   • Jetez-les après avoir calculé un score
   • Ajoutez-les aux invites jusqu'à ce que chaque cas soit résolu
   • Considérez-les comme une preuve de performance générale
   • Conservez-les en tant que cas de régression et actualisez les éléments retenus au fil du temps.