À suivreGuide suivant
Optimisation de la politique relative du groupe
Technique
GUIDE IA du langage
Optimisation des politiques proximales
L'optimisation proximale des politiques est une méthode de gradient de politique qui limite les mises à jour de politique à l'aide d'un objectif de substitution tronqué.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Dans le modèle linguistique RLHF, les termes de récompense et KL font partie d'une configuration de formation plus large.
Plongée profonde
PPO utilise un rapport de probabilité entre les nouvelles et les anciennes politiques et le découpe autour d'une plage spécifiée dans l'objectif de substitution. Dans les implémentations RLHF, des modèles de récompense, des pénalités KL et une fonction de valeur peuvent être inclus. Une estimation de valeur prend en charge le calcul de l'avantage ; ce n'est pas en soi la récompense. Les implémentations diffèrent, les détails doivent donc être limités à une méthode ou à un système. Le découpage du PPO limite l’incitation de l’objectif de substitution pour les ratios en dehors d’un intervalle de découpage ; il ne garantit pas les mises à jour limitées des paramètres. Dans le PPO standard sur politique, les trajectoires récentes proviennent de l’optimisation de la politique. DeepSeekMath a introduit GRPO, qui estime les avantages relatifs entre des groupes de résultats échantillonnés sans critique de valeur distincte ; il s'agit d'une description de méthode, pas d'une garantie de dérive nulle.
Mise en œuvre dans le monde réel
Collectez les réponses de la stratégie actuelle pour un lot d’invites.
Notez les réponses avec un modèle de récompense appris ou un signal de tâche.
Suivez la divergence KL par rapport à une politique de référence lors des mises à jour.
Comparez les exécutions PPO avec un budget d'évaluation et de déploiement fixe.
L’avenir de l’optimisation proximale des politiques
Le PPO reste une méthode RL générale avec des compromis de mise en œuvre. Évaluez le calcul, la qualité du déploiement et le comportement des politiques dans le cadre de la configuration de formation réelle.
Le mettre en pratique
Pourquoi c'est important
- Vitesse et échelle. Les flux de travail linguistiques peuvent évoluer plus rapidement sans sacrifier la cohérence.
- Accès et portée. Il étend l’accès à toutes les langues et styles de communication.
- Décisions plus claires. Les équipes peuvent consacrer plus de temps au jugement tandis que l’automatisation gère les répétitions.
Attention à
- Les faits hallucinés peuvent discrètement entrer dans des rapports, des flux de support ou des résultats de recherche.
- La sensibilité des invites peut créer des résultats incohérents pour des demandes similaires.
- Les données textuelles sensibles peuvent être exposées si les contrôles d’accès sont faibles.
Prochaines étapes
- Définissez le format de sortie, le ton et les normes de qualité avant le déploiement.
- Établissez des réponses auprès de sources fiables chaque fois que la précision est importante.
- Gardez un point de contrôle d’examen humain pour les résultats à enjeux élevés.
- Suivez les modèles de défaillance et recyclez régulièrement les invites ou les flux de travail.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Proximal Policy Optimization quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que l’optimisation proximale des politiques ?
L'optimisation proximale des politiques est une méthode de gradient de politique qui limite les mises à jour de politique à l'aide d'un objectif de substitution tronqué. Dans le modèle linguistique RLHF, les termes de récompense et KL font partie d'une configuration de formation plus large.
Quel problème le « détourage » du PPO résout-il principalement ?
L’écrêtage du PPO limite l’incitation politique au ratio dans son objectif de substitution lorsque le ratio se déplace en dehors de l’intervalle d’écrêtage. Cela décourage les changements politiques importants dans cet objectif, mais ne garantit pas mathématiquement des mises à jour limitées des paramètres.
Dans le modèle de langage RLHF avec PPO, d'où vient généralement le signal de récompense ?
Un modèle de récompense fournit une récompense scalaire pour les réponses générées, car il serait impossible que des humains notent chaque résultat pendant RL.
Que fait la pénalité de divergence KL dans le RLHF basé sur PPO ?
La pénalité KL par jeton par rapport à la politique d'origine (de référence) décourage le modèle de modifier son comportement de manière trop radicale tout en recherchant une récompense.
Quel est le rôle du réseau de valeur (critique) dans le PPO ?
Le PPO est une méthode acteur-critique ; le réseau de valeurs estime la récompense attendue, permettant des estimations d'avantages (souvent via GAE) qui réduisent la variance.
Que représente « l'avantage » dans PPO ?
L’avantage mesure dans quelle mesure une action choisie était meilleure (ou pire) par rapport à l’estimation de la valeur, indiquant à la politique quelles actions renforcer.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet