Quiz lié à un guide · Moyen Niveau

Quiz sur les modèles de récompense de processus

Le processus de test récompense les modèles par la notation par étapes, les étiquettes humaines et automatiques, le reclassement des solutions, la recherche arborescente et la localisation des échecs.

Chemins de guidage associésModèles de récompense de processus
Question 1 de 8

Qu'est-ce qui distingue principalement un modèle de récompense de processus d'un modèle de récompense de résultat ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'est-ce qui distingue principalement un modèle de récompense de processus d'un modèle de récompense de résultat ?
    • Il note chaque étape de raisonnement intermédiaire, pas seulement la réponse finale
    • Il fonctionne plus vite au moment de l'inférence
    • Il ne nécessite aucune donnée de formation
    • Cela ne fonctionne que sur les entrées d'image
  2. Quel ensemble de données bien connu d'étiquettes mathématiques au niveau des étapes humaines est associé à la recherche sur la MRP ?
    • ImageNet
    • PRM800K
    • ESCOUADE
    • Texte Wiki
  3. Pourquoi un signal de récompense axé uniquement sur le résultat peut-il être trompeur ?
    • Les réponses finales ne sont jamais correctes
    • Les modèles de résultats ne peuvent pas lire le texte
    • Une réponse finale correcte peut résulter d'un raisonnement erroné, ou une mauvaise réponse d'un raisonnement généralement correct.
    • C'est toujours trop adapté à la grammaire
  4. Une manière courante de transformer les scores par étape en un score en chaîne unique consiste à :
    • Ajoutez un nombre aléatoire à chaque étape
    • Ignorer tout sauf la première étape
    • Utilisez uniquement le nombre de jetons
    • Prendre la probabilité de pas minimale à travers la chaîne
  5. Qu'utilise l'approche Math-Shepherd pour étiqueter automatiquement les étapes ?
    • Déploiements de Monte Carlo estimant la fréquence à laquelle une étape mène à une réponse correcte
    • Examen manuel par un expert de chaque étape
    • Traduire les étapes dans une autre langue
    • Compter les signes de ponctuation
  6. Quel risque est particulièrement pertinent lors de la formation de modèles sur un PRM ?
    • Le modèle oublie comment lire
    • Le piratage de récompense, où les étapes paraissent bonnes au PMR sans être véritablement correctes
    • Le PRM ne consomme aucun calcul
    • Les étapes deviennent impossibles à générer
  7. How can a process reward model guide a tree search over reasoning?
    • Expand every branch equally without scoring
    • Choose branches by their final token length
    • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
    • Replace all branches with one randomly selected answer
  8. What does the PRM800K dataset contain?
    • Only final answer labels for image captions
    • Audio recordings of spoken explanations
    • A corpus of code commits with no reasoning labels
    • Human labels for intermediate steps in mathematical reasoning solutions