Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Csoportosított jutalom normalizálása RLHF kvízben

Learn how GRPO compares sampled responses within a prompt group, removes a critic, and uses a PPO-style objective for policy updates.

kérdés 1 -ból 8

A csoportos jutalomnormalizálás során mihez viszonyítjuk az egyes válaszok jutalmát?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. A csoportos jutalomnormalizálás során mihez viszonyítjuk az egyes válaszok jutalmát?
    • A saját prompt csoportjának átlaga és szórása
    • Rögzített globális állandó
    • Az előző korszak jutalma
    • A modell paramétereinek száma
  2. Melyik algoritmus kapcsolódik leginkább a csoportos jutalomnormalizáláshoz?
    • Sztochasztikus gradiens süllyedés
    • GRPO (Group Relative Policy Optimization)
    • A K-csoportosulást jelent
    • Visszaszaporítás
  3. A szabványos PPO melyik összetevőjét szünteti meg különösen a GRPO?
    • A jutalom modell
    • A neurális hálózat teljes egészében
    • A különálló értékhálózat (kritikus)
    • Az edzés adatai
  4. Mi történik azzal a válasszal, amelynek jutalma a csoport átlaga alatt van?
    • Pozitív előnyhöz jut és megerősödik
    • Ez törlődik az adatkészletből
    • Jutalma megduplázódik
    • Negatív előnyhöz jut, és elbátortalanodik
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy