Quiz LLM en tant que juge

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. À quoi fait référence « LLM-as-a-juge » ?
   • Utiliser un modèle de langage pour évaluer ou comparer les résultats d'un autre modèle
   • Utiliser un modèle de langage pour rédiger des verdicts juridiques
   • Un modèle qui répond uniquement aux questions oui/non
   • Un modèle qui classe les résultats de recherche par date
2. Quelle est la différence entre le jugement par points et par paires ?
   • Pointwise est plus rapide ; par paire est plus lent mais identique sinon
   • Note de manière ponctuelle une réponse par rapport à une rubrique ; par paire, choisit le meilleur des deux
   • Pointwise ne fonctionne que pour le code ; par paire uniquement pour la prose
   • Il n'y a pas de réelle différence
3. Lequel de ces éléments constitue un préjugé bien documenté chez les juges LLM ?
   • Préférer les réponses écrites en majuscules
   • Préférant toujours le premier mot par ordre alphabétique
   • Privilégier les réponses plus longues quelle que soit la qualité
   • Refuser de noter des questions sur l'histoire
4. Comment les évaluateurs contrecarrent-ils généralement les biais de position dans les comparaisons par paires ?
   • En affichant une seule réponse à la fois
   • En mettant toujours la réponse la plus longue en premier
   • En supprimant le champ de justification
   • En exécutant chaque comparaison deux fois avec la commande échangée
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Comment une équipe peut-elle confirmer qu’un juge LLM reste aligné sur les préférences humaines ?
   • En ne le vérifiant plus jamais après l'installation
   • En le calibrant avec un ensemble d'or étiqueté par des humains
   • En faisant en sorte que le juge se note lui-même
   • En l'utilisant uniquement le week-end
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens