Quiz lié à un guide · Moyen Niveau

Quiz sur l'optimisation des politiques proximales

Passez en revue les coupures PPO, les ratios politiques, les sources de récompense, les pénalités KL, les critiques, les avantages et les limites RLHF du modèle linguistique. Vérifiez les hypothèses et la portée.

Chemins de guidage associésOptimisation des politiques proximales
Question 1 de 8

Quel problème le « détourage » du PPO résout-il principalement ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel problème le « détourage » du PPO résout-il principalement ?
    • Mises à jour trop importantes des politiques qui déstabilisent la formation
    • Chargement lent des données
    • Limites de taille du vocabulaire
    • Utilisation de la mémoire pendant l'inférence
  2. Dans le modèle de langage RLHF avec PPO, d'où vient généralement le signal de récompense ?
    • Notation humaine directe de chaque jeton
    • Un modèle de récompense formé
    • Le taux d'apprentissage de l'optimiseur
    • La taille du vocabulaire
  3. Que fait la pénalité de divergence KL dans le RLHF basé sur PPO ?
    • Accélère la génération de jetons
    • Augmente la précision du modèle de récompense
    • Empêche le modèle affiné de s'éloigner trop du modèle de référence
    • Supprime le besoin d’un réseau de valeur
  4. Quel est le rôle du réseau de valeur (critique) dans le PPO ?
    • Pour générer la sortie texte finale
    • Pour stocker les données d'entraînement
    • Remplacer entièrement le modèle de récompense
    • Pour estimer le rendement attendu afin que les avantages puissent être calculés
  5. Que représente « l'avantage » dans PPO ?
    • Dans quelle mesure une action était-elle meilleure que la ligne de base attendue ?
    • Le nombre total de paramètres du modèle
    • La plage de détourage
    • Le coefficient de pénalité KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized