Gids-gekoppelde quiz · Moeilijk Niveau

Normalisatie van gegroepeerde beloningen in RLHF Quiz

Ontdek hoe GRPO steekproefreacties binnen een promptgroep vergelijkt, een criticus verwijdert en een PPO-achtige doelstelling gebruikt voor beleidsupdates.

Vraag 1 van 8

Waarmee wordt bij gegroepeerde beloningsnormalisatie de beloning van elke reactie vergeleken?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarmee wordt bij gegroepeerde beloningsnormalisatie de beloning van elke reactie vergeleken?
    • Het gemiddelde en de standaarddeviatie van de eigen promptgroep
    • Een vaste mondiale constante
    • De beloning uit het vorige tijdperk
    • Het aantal parameters van het model
  2. Welk algoritme wordt het meest geassocieerd met gegroepeerde beloningsnormalisatie?
    • Stochastische gradiëntafdaling
    • GRPO (groepsrelatieve beleidsoptimalisatie)
    • K-betekent clustering
    • Terugpropagatie
  3. Welk onderdeel van standaard PPO elimineert GRPO met name?
    • Het beloningsmodel
    • Het neurale netwerk volledig
    • Het aparte waardenetwerk (criticus)
    • De trainingsgegevens
  4. Wat gebeurt er met een reactie waarvan de beloning lager is dan het gemiddelde van de groep?
    • Het krijgt een positief voordeel en wordt versterkt
    • Het wordt uit de dataset verwijderd
    • De beloning ervan wordt verdubbeld
    • Het krijgt een negatief voordeel en wordt ontmoedigd
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy