Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor proximale beleidsoptimalisatie
Beoordeel PPO clipping, policy ratios, reward bronnen, KL‑straffen, critici, advantages, en taal‑model RLHF limieten. Controleer aannames en scope.
Vraag 1 van 8
Welk probleem wordt met de 'clipping' van PPO in de eerste plaats aangepakt?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welk probleem wordt met de 'clipping' van PPO in de eerste plaats aangepakt?
- Te grote beleidsupdates die de training destabiliseren
- Langzaam laden van gegevens
- Grenzen aan de grootte van de woordenschat
- Geheugengebruik tijdens gevolgtrekking
- Waar komt het beloningssignaal gewoonlijk vandaan in het taalmodel RLHF met PPO?
- Directe menselijke waardering van elk token
- Een getraind beloningsmodel
- Het leertempo van de optimizer
- De grootte van de woordenschat
- Wat doet de KL-divergentiestraf in op PPO gebaseerde RLHF?
- Versnelt het genereren van tokens
- Verhoogt de nauwkeurigheid van het beloningsmodel
- Zorgt ervoor dat het verfijnde model niet te ver afwijkt van het referentiemodel
- Elimineert de noodzaak van een waardenetwerk
- Wat is de rol van het waarde(kritiek)netwerk in PPO?
- Om de uiteindelijke tekstuitvoer te genereren
- Om de trainingsgegevens op te slaan
- Om het beloningsmodel volledig te vervangen
- Om het verwachte rendement in te schatten, zodat voordelen kunnen worden berekend
- Wat betekent het 'voordeel' bij PPO?
- Hoeveel beter was een actie dan de verwachte basislijn
- Het totale aantal parameters van het model
- Het knipbereik
- De KL-strafcoëfficiënt
- What distinguishes GRPO from PPO in the DeepSeekMath paper?
- It removes all policy sampling and optimizes only supervised labels
- It estimates relative advantages from groups of sampled responses without a separate value critic
- It uses a trained reward model as a value network
- It guarantees zero policy drift after one update
- What probability ratio does PPO clip in its surrogate objective?
- The reward divided by the number of prompts
- The value estimate divided by the KL coefficient
- The new policy’s action probability divided by the old policy’s action probability
- The sequence length divided by batch size
- Why is PPO called an on-policy method in its standard form?
- It trains only on a static image dataset
- It never samples actions
- It updates only a reward model
- It collects trajectories using the current policy being optimized