Kvíz spojený s průvodcem · Těžko úroveň
Normalizace skupinových odměn v kvízu RLHF
Zjistěte, jak GRPO porovnává vzorové odpovědi v rámci skupiny výzev, odstraňuje kritika a používá cíl ve stylu PPO pro aktualizace zásad.
Otázka 1 z 8
Jaká je při normalizaci seskupených odměn odměna jednotlivých odpovědí porovnána?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je při normalizaci seskupených odměn odměna jednotlivých odpovědí porovnána?
- Průměr a standardní odchylka vlastní skupiny výzvy
- Pevná globální konstanta
- Odměna z předchozí epochy
- Počet parametrů modelu
- Který algoritmus je nejvíce spojen s normalizací seskupených odměn?
- Stochastický gradient klesání
- GRPO (optimalizace relativních zásad skupiny)
- K-znamená shlukování
- Zpětná propagace
- Jakou složku standardního PPO GRPO výrazně eliminuje?
- Model odměny
- Celá neuronová síť
- Samostatná hodnotová síť (kritická)
- Tréninková data
- Co se stane s odpovědí, jejíž odměna je pod průměrem její skupiny?
- Získává pozitivní výhodu a je posílena
- Je odstraněn z datové sady
- Jeho odměna je dvojnásobná
- Získává negativní výhodu a je odrazován
- What does within-prompt reward normalization provide to a GRPO update?
- A relative, scaled advantage for each response compared with others for the same prompt
- A guarantee that all prompt difficulty differences disappear
- A higher learning rate
- A way to make every response receive the same reward
- What happens when every response in a prompt group receives the same reward?
- Every response gets a positive advantage
- Centering gives no relative advantage; zero spread also requires numerical handling
- The group mean doubles the reward
- The model stops needing a policy objective
- Which PPO-style update element does GRPO retain?
- A separately learned value network
- K-means clustering over tokens
- A clipped policy objective
- A language-model tokenizer
- What can a KL penalty relative to a reference policy help constrain in GRPO?
- The number of prompts in each group
- The length of the tokenizer vocabulary
- The resolution of generated images
- How far the updated policy drifts from the reference policy