Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Csoportosított jutalom normalizálása RLHF kvízben
Learn how GRPO compares sampled responses within a prompt group, removes a critic, and uses a PPO-style objective for policy updates.
kérdés 1 -ból 8
A csoportos jutalomnormalizálás során mihez viszonyítjuk az egyes válaszok jutalmát?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- A csoportos jutalomnormalizálás során mihez viszonyítjuk az egyes válaszok jutalmát?
- A saját prompt csoportjának átlaga és szórása
- Rögzített globális állandó
- Az előző korszak jutalma
- A modell paramétereinek száma
- Melyik algoritmus kapcsolódik leginkább a csoportos jutalomnormalizáláshoz?
- Sztochasztikus gradiens süllyedés
- GRPO (Group Relative Policy Optimization)
- A K-csoportosulást jelent
- Visszaszaporítás
- A szabványos PPO melyik összetevőjét szünteti meg különösen a GRPO?
- A jutalom modell
- A neurális hálózat teljes egészében
- A különálló értékhálózat (kritikus)
- Az edzés adatai
- Mi történik azzal a válasszal, amelynek jutalma a csoport átlaga alatt van?
- Pozitív előnyhöz jut és megerősödik
- Ez törlődik az adatkészletből
- Jutalma megduplázódik
- Negatív előnyhöz jut, és elbátortalanodik
- What does within-prompt reward normalization provide to a GRPO update?
- A relative, scaled advantage for each response compared with others for the same prompt
- A guarantee that all prompt difficulty differences disappear
- A higher learning rate
- A way to make every response receive the same reward
- What happens when every response in a prompt group receives the same reward?
- Every response gets a positive advantage
- Centering gives no relative advantage; zero spread also requires numerical handling
- The group mean doubles the reward
- The model stops needing a policy objective
- Which PPO-style update element does GRPO retain?
- A separately learned value network
- K-means clustering over tokens
- A clipped policy objective
- A language-model tokenizer
- What can a KL penalty relative to a reference policy help constrain in GRPO?
- The number of prompts in each group
- The length of the tokenizer vocabulary
- The resolution of generated images
- How far the updated policy drifts from the reference policy