Normalisation de la longueur dans le quiz sur l'optimisation des préférences

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel comportement indésirable la normalisation de la longueur dans DPO vise-t-elle principalement à prévenir ?
   • Modèles favorisant des réponses plus longues quelle que soit la qualité réelle
   • Les mannequins refusent de répondre aux questions
   • Modèles de faits hallucinants
   • Les modèles répondent trop lentement
2. Pourquoi la récompense implicite du DPO standard a-t-elle tendance à augmenter avec la longueur de la réponse ?
   • Il multiplie la récompense par la température
   • Il s'agit d'une somme de différences de probabilité de log par jeton
   • Il utilise un bonus fixe par phrase
   • Il pénalise explicitement les réponses courtes
3. Comment SimPO résout-il le biais de longueur ?
   • Il double le poids du modèle de référence
   • Il tronque toutes les réponses à une longueur fixe
   • Il utilise la probabilité moyenne du journal par jeton comme récompense
   • Il supprime entièrement les données de préférence
4. Une différence structurelle notable entre SimPO et DPO standard est que SimPO :
   • Nécessite deux fois plus de données d'entraînement
   • Fonctionne uniquement sur les images
   • Désactive la descente de pente
   • N'utilise pas de modèle de référence distinct
5. Quelle pratique d’évaluation permet de confirmer un modèle amélioré en qualité plutôt qu’en longueur ?
   • Signaler un taux de victoire contrôlé par la longueur
   • Comptage des paramètres totaux
   • Mesurer la température du GPU
   • Augmenter la taille du lot
6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
   • ImageNet, COCO, and GLUE
   • AlpacaEval 2, MT-Bench, and Arena-Hard
   • LibriSpeech, WER, and BLEU
   • MMLU, GSM8K, and HumanEval only
7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
   • Identical scores for both responses
   • A longer preferred response regardless of quality
   • A larger score difference in favor of the preferred response
   • A new reference model for every token
8. What risk can overly aggressive length normalization create?
   • It guarantees all answers have the same factual accuracy
   • It makes the reference model’s vocabulary larger
   • It prevents evaluators from comparing responses
   • It can favor answers that are too terse to include necessary detail