À suivreGuide suivant
Projets de modèles de décodage spéculatif
IA linguistique
GUIDE IA du langage
Modèles de récompense de processus
Les modèles de récompense de processus (PRM) notent chaque étape individuelle du raisonnement d'une IA plutôt que simplement la réponse finale.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Ceci est important car il détecte la logique défectueuse à mi-parcours, rendant les modèles plus fiables en termes de mathématiques, de codage et de raisonnement en plusieurs étapes.
Plongée profonde
La plupart des modèles de récompense sont des modèles de « résultats » : ils examinent une réponse finale et jugent si elle est bonne ou mauvaise. Un modèle de récompense de processus note à la place chaque étape d’une chaîne de raisonnement, en attribuant un score de qualité ou d’exactitude à chaque ligne d’une solution. L'exemple célèbre est le travail de OpenAI « Vérifions étape par étape » de 2023, dans lequel un PRM formé sur l'ensemble de données PRM800K (environ 800 000 étiquettes au niveau des étapes humaines sur des solutions mathématiques) a largement surpassé la supervision axée uniquement sur les résultats sur le benchmark MATH. L’avantage est qu’une réponse finale peut être bonne par chance alors que le raisonnement est brisé, ou fausse malgré des étapes pour la plupart correctes. En récompensant les étapes intermédiaires correctes, les PRM donnent un feedback plus dense et plus ciblé, ce qui améliore à la fois la vérification (en sélectionnant la meilleure parmi de nombreuses solutions échantillonnées) et la formation via l'apprentissage par renforcement.
Mise en œuvre dans le monde réel
Reclassement de dizaines de solutions échantillonnées à un problème de compétition MATH difficile par score, puis renvoi de la chaîne ayant obtenu le score le plus élevé.
Guider la recherche arborescente dans un modèle de raisonnement, en développant uniquement les solutions partielles dont les étapes intermédiaires sont très appréciées par le PRM.
Étiquetage automatique des données d'entraînement avec des déploiements Monte Carlo de style Math-Shepherd afin qu'un PRM puisse être formé sans annotation humaine exhaustive.
Vérifier la génération de code étape par étape, en signalant la ligne spécifique où la logique d'une fonction diverge de la spécification.
L'avenir des modèles de récompense de processus
Les PRM sont au cœur de l’ère du modèle de raisonnement. Attendez-vous à un étiquetage plus automatique des étapes pour réduire les coûts d'annotation humaine, à des PRM génératifs qui critiquent les étapes en langage naturel plutôt que d'émettre un simple score, et à une extension au-delà des mathématiques dans le code, l'utilisation d'outils agents et le raisonnement scientifique. Ils s'associent également naturellement à la recherche arborescente et au calcul au moment du test, où un vérificateur guide les branches à développer. Un défi ouvert clé est le piratage des récompenses : des modèles apprennent à produire des étapes qui semblent bonnes au PRM sans être vraiment correctes.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Process Reward Models quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que les modèles de récompense de processus ?
Les modèles de récompense de processus (PRM) notent chaque étape individuelle du raisonnement d'une IA plutôt que simplement la réponse finale. Ceci est important car il détecte la logique défectueuse à mi-parcours, rendant les modèles plus fiables en termes de mathématiques, de codage et de raisonnement en plusieurs étapes.
Qu'est-ce qui distingue principalement un modèle de récompense de processus d'un modèle de récompense de résultat ?
Un PRM attribue un score à chaque étape d'une chaîne de raisonnement, alors qu'un modèle de résultats ne juge que le résultat final.
Quel ensemble de données bien connu d'étiquettes mathématiques au niveau des étapes humaines est associé à la recherche sur la MRP ?
Le PRM800K, publié avec « Vérifions étape par étape » de OpenAI, contient environ 800 000 étiquettes de niveau étape sur les solutions mathématiques.
Pourquoi un signal de récompense axé uniquement sur le résultat peut-il être trompeur ?
La notation des résultats ne prend pas en compte les cas où la réponse est bonne par chance ou fausse malgré un bon travail intermédiaire, ce que la notation par étapes rattrape.
Qu'utilise l'approche Math-Shepherd pour étiqueter automatiquement les étapes ?
Math-Shepherd estime la valeur d'une étape en échantillonnant de nombreuses réponses à partir de ce point et en mesurant la fréquence à laquelle elles atteignent la bonne réponse.
Quel risque est particulièrement pertinent lors de la formation de modèles sur un PRM ?
Les modèles peuvent apprendre à jouer avec le vérificateur, produisant des étapes apparemment plausibles qui obtiennent de bons résultats mais qui ne constituent pas réellement un raisonnement solide.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet