Quiz lié à un guide · Moyen Niveau

Quiz sur l'optimisation des préférences de rapport de cotes

Explique l’objectif de préférence sans modèle de référence d’ORPO, la pénalité du rapport de cotes et la formation combinée supervisée et préférentielle.

Chemins de guidage associésOptimisation des préférences de rapport de cotes
Question 1 de 8

Quel est le principal avantage pratique de l’ORPO par rapport aux méthodes comme le DPO ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel est le principal avantage pratique de l’ORPO par rapport aux méthodes comme le DPO ?
    • Il élimine le besoin d’un modèle de référence distinct
    • Cela ne nécessite aucune donnée de formation
    • Cela ne fonctionne que sur les modèles d'image
    • Il garantit zéro hallucination
  2. À quoi se compare le « rapport de cotes » dans ORPO ?
    • Vitesse d'entraînement par rapport à la précision
    • Les chances de la réponse choisie par rapport à la réponse rejetée
    • Deux taux d'apprentissage différents
    • La taille du modèle par rapport à la taille de l'ensemble de données
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. La perte ORPO est mieux décrite par quelle combinaison ?
    • Entropie croisée SFT plus un terme de préférence de rapport de cotes pondéré
    • Seulement un score de modèle de récompense
    • Un pur retour d’apprentissage par renforcement
    • Injection de bruit aléatoire
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • La taille du vocabulaire du tokenizer
    • Le nombre de têtes d'attention
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation