Gids-gekoppelde quiz · Moeilijk Niveau
Normalisatie van gegroepeerde beloningen in RLHF Quiz
Ontdek hoe GRPO steekproefreacties binnen een promptgroep vergelijkt, een criticus verwijdert en een PPO-achtige doelstelling gebruikt voor beleidsupdates.
Vraag 1 van 8
Waarmee wordt bij gegroepeerde beloningsnormalisatie de beloning van elke reactie vergeleken?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarmee wordt bij gegroepeerde beloningsnormalisatie de beloning van elke reactie vergeleken?
- Het gemiddelde en de standaarddeviatie van de eigen promptgroep
- Een vaste mondiale constante
- De beloning uit het vorige tijdperk
- Het aantal parameters van het model
- Welk algoritme wordt het meest geassocieerd met gegroepeerde beloningsnormalisatie?
- Stochastische gradiëntafdaling
- GRPO (groepsrelatieve beleidsoptimalisatie)
- K-betekent clustering
- Terugpropagatie
- Welk onderdeel van standaard PPO elimineert GRPO met name?
- Het beloningsmodel
- Het neurale netwerk volledig
- Het aparte waardenetwerk (criticus)
- De trainingsgegevens
- Wat gebeurt er met een reactie waarvan de beloning lager is dan het gemiddelde van de groep?
- Het krijgt een positief voordeel en wordt versterkt
- Het wordt uit de dataset verwijderd
- De beloning ervan wordt verdubbeld
- Het krijgt een negatief voordeel en wordt ontmoedigd
- What does within-prompt reward normalization provide to a GRPO update?
- A relative, scaled advantage for each response compared with others for the same prompt
- A guarantee that all prompt difficulty differences disappear
- A higher learning rate
- A way to make every response receive the same reward
- What happens when every response in a prompt group receives the same reward?
- Every response gets a positive advantage
- Centering gives no relative advantage; zero spread also requires numerical handling
- The group mean doubles the reward
- The model stops needing a policy objective
- Which PPO-style update element does GRPO retain?
- A separately learned value network
- K-means clustering over tokens
- A clipped policy objective
- A language-model tokenizer
- What can a KL penalty relative to a reference policy help constrain in GRPO?
- The number of prompts in each group
- The length of the tokenizer vocabulary
- The resolution of generated images
- How far the updated policy drifts from the reference policy