Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor proximale beleidsoptimalisatie

Beoordeel PPO clipping, policy ratios, reward bronnen, KL‑straffen, critici, advantages, en taal‑model RLHF limieten. Controleer aannames en scope.

Gerelateerde gidspadenProximale beleidsoptimalisatie
Vraag 1 van 8

Welk probleem wordt met de 'clipping' van PPO in de eerste plaats aangepakt?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welk probleem wordt met de 'clipping' van PPO in de eerste plaats aangepakt?
    • Te grote beleidsupdates die de training destabiliseren
    • Langzaam laden van gegevens
    • Grenzen aan de grootte van de woordenschat
    • Geheugengebruik tijdens gevolgtrekking
  2. Waar komt het beloningssignaal gewoonlijk vandaan in het taalmodel RLHF met PPO?
    • Directe menselijke waardering van elk token
    • Een getraind beloningsmodel
    • Het leertempo van de optimizer
    • De grootte van de woordenschat
  3. Wat doet de KL-divergentiestraf in op PPO gebaseerde RLHF?
    • Versnelt het genereren van tokens
    • Verhoogt de nauwkeurigheid van het beloningsmodel
    • Zorgt ervoor dat het verfijnde model niet te ver afwijkt van het referentiemodel
    • Elimineert de noodzaak van een waardenetwerk
  4. Wat is de rol van het waarde(kritiek)netwerk in PPO?
    • Om de uiteindelijke tekstuitvoer te genereren
    • Om de trainingsgegevens op te slaan
    • Om het beloningsmodel volledig te vervangen
    • Om het verwachte rendement in te schatten, zodat voordelen kunnen worden berekend
  5. Wat betekent het 'voordeel' bij PPO?
    • Hoeveel beter was een actie dan de verwachte basislijn
    • Het totale aantal parameters van het model
    • Het knipbereik
    • De KL-strafcoëfficiënt
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized