Kvíz spojený s průvodcem · Těžko úroveň

Kvíz optimalizace relativních zásad skupiny

Použijte normalizaci odměn skupiny GRPO, odstranění kritiků a regularizaci zásad referencí, včetně toho, co znamenají relativní výhody v rámci jedné výzvy.

Související vodicí cestyOptimalizace relativních zásad skupiny
Otázka 1 z 8

Which separately learned estimator does the original GRPO approach avoid training?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Jak GRPO vypočítá výhodu pro dané dokončení?
    • Dotazováním hlavy naučené hodnoty u každého tokenu
    • Použitím surové odměny bez normalizace
    • Porovnáním s dokončeními z jiné výzvy
    • Standardizací své odměny vůči průměru a směrodatné odchylce skupiny sourozeneckých dokončení
  3. Které modely proslavily GRPO?
    • Modely uvažování DeepSeekMath a DeepSeek-R1 od DeepSeek
    • OpenAI série GPT-2
    • Původní BERT uživatele Google
    • Základní modely Llama 2 od Meta
  4. Jakou roli hraje termín KL-divergence v GRPO?
    • Vygeneruje skupinu dokončení
    • Nahrazuje model odměn
    • Zabraňuje tomu, aby se natrénovaná politika příliš vzdalovala od zmrazeného referenčního modelu
    • Vypočítá odhad hodnoty na token
  5. Proč je GRPO obzvláště atraktivní pro trénování modelů uvažování v matematice nebo kódu?
    • Nevyžaduje vůbec žádný signál odměny
    • Funguje pouze se štítky lidských preferencí
    • Nemůže používat vzorková dokončení
    • Přirozeně funguje s ověřitelnými odměnami založenými na pravidlech (např. zda se odpověď shoduje nebo zda testy prošly) bodovanými ve skupině vzorových řešení
  6. Jaká je známá zaujatost, kterou se následná práce (jako Dr. GRPO) snaží napravit ve vanilkovém GRPO?
    • Tendence odměnu zcela ignorovat
    • Zkreslení délky a obtížnosti zavedené tím, jak jsou odměny normalizovány
    • Neschopnost vzorkovat více než jedno dokončení
    • Požadavek na obrovskou síť kritiků
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks