Test legat de ghid · Greu Nivel

Test de optimizare a politicilor relative de grup

Aplicați normalizarea recompensei grupului GRPO, eliminarea criticilor și regularizarea politicii de referință, inclusiv ceea ce înseamnă avantajele relative într-un singur prompt.

Căi de ghidare aferenteOptimizare relativă a politicii de grup
Întrebare 1 de 8

Which separately learned estimator does the original GRPO approach avoid training?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Cum calculează GRPO avantajul pentru o anumită finalizare?
    • Interogând un cap de valoare învățată la fiecare simbol
    • Prin utilizarea recompensei brute fără normalizare
    • Comparându-l cu completările dintr-un prompt diferit
    • Prin standardizarea recompensei sale față de media și deviația standard a grupului său de completări de frați
  3. Ce modele l-au făcut cunoscut pe GRPO?
    • Modelele de raționament DeepSeekMath și DeepSeek-R1 ale DeepSeek
    • Seria GPT-2 de la OpenAI
    • BERT original al lui Google
    • Modelele de bază Llama 2 ale Meta
  4. Ce rol joacă termenul KL-divergență în GRPO?
    • Acesta generează grupul de completări
    • Acesta înlocuiește modelul de recompensă
    • Acesta împiedică politica instruită să se îndepărteze prea mult de un model de referință înghețat
    • Acesta calculează valoarea estimată pentru fiecare token
  5. De ce este GRPO deosebit de atractiv pentru formarea modelelor de raționament pe matematică sau cod?
    • Nu necesită deloc semnal de recompensă
    • Funcționează doar cu etichete de preferințe umane
    • Nu poate folosi completări eșantionate
    • Funcționează în mod natural cu recompense verificabile, bazate pe reguli (de exemplu, răspunsul se potrivește sau testele au trecut) punctat într-un grup de soluții eșantionate
  6. Care este o părtinire cunoscută pe care lucrările ulterioare (cum ar fi Dr. GRPO) încearcă să o corecteze în vanilia GRPO?
    • O tendință de a ignora în întregime recompensa
    • Prejudecăți privind lungimea și dificultatea introduse de modul în care recompensele sunt normalizate
    • O incapacitate de a eșantiona mai mult de o finalizare
    • O cerință pentru o rețea enormă de critici
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks