Quiz lié à un guide · Difficile Niveau

Quiz sur l'optimisation des politiques relatives de groupe

Appliquez la normalisation des récompenses de groupe GRPO, la suppression des critiques et la régularisation de la politique de référence, y compris la signification des avantages relatifs dans une seule invite.

Chemins de guidage associésOptimisation de la politique relative du groupe
Question 1 de 8

Which separately learned estimator does the original GRPO approach avoid training?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Comment GRPO calcule-t-il l’avantage pour un achèvement donné ?
    • En interrogeant une tête de valeur apprise à chaque jeton
    • En utilisant la récompense brute sans normalisation
    • En le comparant aux complétions d'une autre invite
    • En standardisant sa récompense par rapport à la moyenne et à l'écart type de son groupe de réussites entre frères et sœurs
  3. Quels modèles ont fait connaître GRPO ?
    • Modèles de raisonnement DeepSeekMath et DeepSeek-R1 de DeepSeek
    • Série GPT-2 de OpenAI
    • BERT original de Google
    • Modèles de base Llama 2 de Meta
  4. Quel rôle le terme de divergence KL joue-t-il dans GRPO ?
    • Il génère le groupe de complétions
    • Il remplace le modèle de récompense
    • Cela empêche la politique formée de s'éloigner trop d'un modèle de référence figé.
    • Il calcule l'estimation de la valeur par jeton
  5. Pourquoi GRPO est-il particulièrement intéressant pour former des modèles de raisonnement sur les mathématiques ou le code ?
    • Cela ne nécessite aucun signal de récompense
    • Cela ne fonctionne qu'avec les étiquettes de préférences humaines
    • Il ne peut pas utiliser de complétions échantillonnées
    • Il fonctionne naturellement avec des récompenses vérifiables et basées sur des règles (par exemple, la réponse correspond-elle ou les tests ont-ils réussi) notées sur un groupe de solutions échantillonnées ?
  6. Quel est le biais connu que les travaux de suivi (comme le Dr GRPO) tentent de corriger dans le GRPO vanille ?
    • Une tendance à ignorer complètement la récompense
    • Biais de longueur et de difficulté introduits par la façon dont les récompenses sont normalisées
    • Une incapacité à échantillonner plus d’un achèvement
    • La nécessité d’un énorme réseau critique
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks