Modélisation de récompense
Un modèle de récompense est un réseau neuronal formé pour prédire la qualité d’une réponse de l’IA, agissant comme un substitut automatisé au jugement humain.
Aperçu
It is the scoring engine that makes reinforcement learning from human feedback possible at scale.
Plongée profonde
La modélisation des récompenses résout un problème pratique : les humains ne peuvent pas évaluer chacun des millions de résultats générés par un modèle au cours de la formation. Au lieu de cela, les étiqueteurs comparent un petit ensemble de réponses, choisissant généralement laquelle des deux réponses à la même invite est la meilleure. Un modèle de récompense est ensuite formé sur ces comparaisons pour générer un score scalaire unique pour toute paire de réponses rapides. L'objectif de formation standard est le modèle Bradley-Terry, qui transforme les préférences par paires en une probabilité qu'une réponse surpasse une autre. Une fois formé, ce modèle de récompense peut évaluer à moindre coût un nombre illimité de nouveaux résultats, fournissant ainsi le signal que des algorithmes comme PPO utilisent pour améliorer le modèle de langage. Les modèles de récompense sont également réutilisés au moment de l'inférence pour l'échantillonnage du meilleur des N, où de nombreux candidats sont générés et celui ayant obtenu le score le plus élevé est renvoyé.
Aperçu technique
Un modèle de récompense est généralement le modèle de langage de base avec sa tête de prédiction de jeton remplacée par une seule couche linéaire qui émet un scalaire. La formation maximise la probabilité logarithmique que la réponse choisie soit supérieure à celle rejetée : loss = -log(sigmoid(r_chosen - r_rejected)). Seule la différence relative compte, l’échelle absolue est donc arbitraire. La qualité dépend de la cohérence des étiquettes et d’une large couverture des styles de réponse.
Impact stratégique
Vitesse et échelle
Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
Accès et portée
Il étend l’accès à toutes les langues et styles de communication.
Décisions plus claires
Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
L'avenir de la modélisation des récompenses
La recherche s'attaque aux plus grandes faiblesses des modèles de récompense : ils peuvent être « piratés » (les modèles exploitent des bizarreries comme privilégier la longueur), et ils s'éloignent de la distribution à mesure que la politique s'améliore. Les orientations prometteuses incluent des modèles de récompense de processus qui notent chaque étape de raisonnement, des ensembles et des estimations d'incertitude pour résister au piratage, des étiquettes de préférence générées par l'IA (RLAIF) et des modèles de récompense génératifs qui produisent des critiques et des justifications plutôt qu'un simple chiffre.
Mise en œuvre dans le monde réel
Alimenter le RLHF pour les assistants comme ChatGPT et Claude en notant les réponses des candidats pendant la formation PPO
Échantillonnage au meilleur des N, où un modèle génère de nombreuses réponses et le modèle de récompense sélectionne la meilleure pour l'utilisateur
Des « vérificateurs » mathématiques et de codage ou des modèles de récompense de processus qui notent les étapes de raisonnement intermédiaires pour améliorer la résolution de problèmes
Classement et filtrage des données d'entraînement synthétiques, en ne conservant que les générations ayant obtenu les meilleurs scores pour un réglage plus précis
Risques et garde-fous
Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Feuille de route de mise en œuvre
Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reward Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Modélisation des récompenses Bradley-Terry
Questions fréquemment posées
What is Reward Modeling?
Un modèle de récompense est un réseau neuronal formé pour prédire la qualité d’une réponse de l’IA, agissant comme un substitut automatisé au jugement humain. Il s’agit du moteur de notation qui rend possible l’apprentissage par renforcement à partir des commentaires humains à grande échelle.
Quel est le résultat principal d’un modèle de récompense pour une paire invite-réponse donnée ?
Un modèle de récompense mappe une invite et une réponse à un nombre scalaire représentant la qualité prédite ou la préférence humaine.
Quel type de données humaines est le plus couramment utilisé pour former des modèles de récompense ?
Les étiqueteurs comparent généralement deux réponses à la même invite et choisissent la meilleure ; le modèle Bradley-Terry les convertit en récompense scalaire.
Qu’est-ce que la perte du modèle de récompense standard optimise ?
La perte Bradley-Terry, -log(sigmoid(r_chosen - r_rejected)), ne se soucie que de l'ordre relatif, donc l'échelle absolue est arbitraire.
Qu'est-ce que le « piratage de récompense » ?
Le piratage de récompense se produit lorsque le modèle trouve des raccourcis (comme une longueur excessive ou de la flatterie) que le modèle de récompense imparfait accorde une grande importance, mais que les humains ne feraient pas.
Comment un modèle de récompense est-il architecturalement dérivé d'un modèle de langage ?
Un modèle de récompense réutilise généralement le squelette LM mais remplace la couche finale par une autre qui génère une seule récompense scalaire.