Kvíz spojený s průvodcem · Těžko úroveň

Normalizace skupinových odměn v kvízu RLHF

Zjistěte, jak GRPO porovnává vzorové odpovědi v rámci skupiny výzev, odstraňuje kritika a používá cíl ve stylu PPO pro aktualizace zásad.

Související vodicí cestyNormalizace seskupených odměn v Rlhf
Otázka 1 z 8

Jaká je při normalizaci seskupených odměn odměna jednotlivých odpovědí porovnána?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je při normalizaci seskupených odměn odměna jednotlivých odpovědí porovnána?
    • Průměr a standardní odchylka vlastní skupiny výzvy
    • Pevná globální konstanta
    • Odměna z předchozí epochy
    • Počet parametrů modelu
  2. Který algoritmus je nejvíce spojen s normalizací seskupených odměn?
    • Stochastický gradient klesání
    • GRPO (optimalizace relativních zásad skupiny)
    • K-znamená shlukování
    • Zpětná propagace
  3. Jakou složku standardního PPO GRPO výrazně eliminuje?
    • Model odměny
    • Celá neuronová síť
    • Samostatná hodnotová síť (kritická)
    • Tréninková data
  4. Co se stane s odpovědí, jejíž odměna je pod průměrem její skupiny?
    • Získává pozitivní výhodu a je posílena
    • Je odstraněn z datové sady
    • Jeho odměna je dvojnásobná
    • Získává negativní výhodu a je odrazován
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy