Kvíz spojený s průvodcem · Těžko úroveň
Kvíz optimalizace relativních zásad skupiny
Použijte normalizaci odměn skupiny GRPO, odstranění kritiků a regularizaci zásad referencí, včetně toho, co znamenají relativní výhody v rámci jedné výzvy.
Otázka 1 z 8
Which separately learned estimator does the original GRPO approach avoid training?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Which separately learned estimator does the original GRPO approach avoid training?
- The policy that generates completions
- A value or critic model
- Every possible reward function
- The reference policy’s vocabulary
- Jak GRPO vypočítá výhodu pro dané dokončení?
- Dotazováním hlavy naučené hodnoty u každého tokenu
- Použitím surové odměny bez normalizace
- Porovnáním s dokončeními z jiné výzvy
- Standardizací své odměny vůči průměru a směrodatné odchylce skupiny sourozeneckých dokončení
- Které modely proslavily GRPO?
- Modely uvažování DeepSeekMath a DeepSeek-R1 od DeepSeek
- OpenAI série GPT-2
- Původní BERT uživatele Google
- Základní modely Llama 2 od Meta
- Jakou roli hraje termín KL-divergence v GRPO?
- Vygeneruje skupinu dokončení
- Nahrazuje model odměn
- Zabraňuje tomu, aby se natrénovaná politika příliš vzdalovala od zmrazeného referenčního modelu
- Vypočítá odhad hodnoty na token
- Proč je GRPO obzvláště atraktivní pro trénování modelů uvažování v matematice nebo kódu?
- Nevyžaduje vůbec žádný signál odměny
- Funguje pouze se štítky lidských preferencí
- Nemůže používat vzorková dokončení
- Přirozeně funguje s ověřitelnými odměnami založenými na pravidlech (např. zda se odpověď shoduje nebo zda testy prošly) bodovanými ve skupině vzorových řešení
- Jaká je známá zaujatost, kterou se následná práce (jako Dr. GRPO) snaží napravit ve vanilkovém GRPO?
- Tendence odměnu zcela ignorovat
- Zkreslení délky a obtížnosti zavedené tím, jak jsou odměny normalizovány
- Neschopnost vzorkovat více než jedno dokončení
- Požadavek na obrovskou síť kritiků
- Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
- The completion rewarded 2
- The completion rewarded 6
- The completion rewarded 4
- All completions because rewards differ
- Why compare GRPO reward statistics among completions of the same prompt?
- They provide a relative baseline for alternative answers to that prompt
- They require unrelated prompts to have equal difficulty
- They replace checking whether an answer is correct
- They make the highest reward identical across all tasks