Quiz de modélisation de récompense Bradley-Terry

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Que convertit le modèle Bradley-Terry en scores numériques ?
   • Comparaisons par paires de l'élément préféré
   • Notes absolues de 1 à 10
   • Valeurs brutes des pixels
   • Mesures de séries chronologiques
2. Dans Bradley-Terry, la probabilité que A batte B est fonction de quoi ?
   • Le produit de leurs scores
   • La logistique de la différence entre leurs scores
   • Le ratio de leur nombre de jetons
   • Un taux fixe de 50 % quels que soient les scores
3. Pourquoi les récompenses Bradley-Terry ne sont-elles identifiables qu'à une constante additive près ?
   • Parce que les scores doivent totaliser un
   • Parce que les humains ne savent pas compter
   • Parce que la perte ne dépend que des différences de scores
   • Parce que le sigmoïde supprime toutes les informations
4. Quelle est la perte standard pour une comparaison de préférence unique dans la modélisation des récompenses ?
   • Erreur quadratique moyenne par rapport à une étiquette de 1 à 10
   • Entropie croisée sur l'ensemble du vocabulaire
   • Différence absolue de longueurs de jetons
   • Log-sigmoïde négatif de (récompense du choisi moins récompense du rejeté)
5. Quelle méthode ignore un modèle de récompense distinct en optimisant l'objectif de Bradley-Terry directement sur la politique ?
   • Optimisation des préférences directes (DPO)
   • Optimisation de la politique proximale (PPO)
   • Normalisation par lots
   • Découpage de dégradé
6. Quelle est l’une des principales limites de l’hypothèse de Bradley-Terry ?
   • Il faut des GPU pour calculer
   • Il suppose un classement unique, cohérent et transitif, qui peut être rompu lorsque les préférences changent.
   • Cela ne fonctionne que sur les images
   • Il ne peut jamais gérer plus de trois éléments
7. Why can pairwise judgments be easier to collect than absolute quality scores?
   • Pairwise choices never contain disagreement
   • Absolute scores cannot be used for training
   • A rater can compare two candidates directly without calibrating a numeric scale
   • A pairwise label reveals every feature of the reward model
8. Which familiar ranking system is mathematically related to Bradley-Terry-style pairwise scoring?
   • PageRank for web pages
   • TF-IDF for document terms
   • A Fourier transform for audio
   • Elo ratings