Gids-gekoppelde quiz · Moeilijk Niveau

Quiz voor relatieve beleidsoptimalisatie van groepen

Pas GRPO-groepsbeloningsnormalisatie, verwijdering van critici en regularisatie van referentiebeleid toe, inclusief wat relatieve voordelen betekenen binnen één prompt.

Vraag 1 van 8

Which separately learned estimator does the original GRPO approach avoid training?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Hoe berekent GRPO het voordeel voor een bepaalde voltooiing?
    • Door bij elk token een geleerde waardekop op te vragen
    • Door de ruwe beloning te gebruiken zonder normalisatie
    • Door het te vergelijken met voltooiingen van een andere prompt
    • Door de beloning te standaardiseren tegen het gemiddelde en de standaardafwijking van de groep voltooiingen van broers en zussen
  3. Welke modellen hebben GRPO bekend gemaakt?
    • DeepSeek's DeepSeekMath en DeepSeek-R1 redeneermodellen
    • OpenAI's GPT-2-serie
    • De originele BERT van Google
    • De Llama 2-basismodellen van Meta
  4. Welke rol speelt de KL-divergentieterm in GRPO?
    • Het genereert de groep voltooiingen
    • Het vervangt het beloningsmodel
    • Het zorgt ervoor dat het getrainde beleid niet te ver afdwaalt van een bevroren referentiemodel
    • Het berekent de schatting van de waarde per token
  5. Waarom is GRPO vooral aantrekkelijk voor het trainen van redeneermodellen op het gebied van wiskunde of code?
    • Er is helemaal geen beloningssignaal voor nodig
    • Het werkt alleen met menselijke voorkeurslabels
    • Er kunnen geen bemonsterde voltooiingen worden gebruikt
    • Het werkt op natuurlijke wijze met verifieerbare, op regels gebaseerde beloningen (bijvoorbeeld: kwam het antwoord overeen of slaagden de tests) die werden gescoord voor een groep bemonsterde oplossingen
  6. Wat is een bekend vooroordeel dat vervolgwerk (zoals Dr. GRPO) probeert te corrigeren in vanilla GRPO?
    • Een neiging om de beloning volledig te negeren
    • Vooroordelen over lengte en moeilijkheidsgraad die worden geïntroduceerd door de manier waarop beloningen worden genormaliseerd
    • Een onvermogen om meer dan één voltooiing te bemonsteren
    • Een vereiste voor een enorm criticinetwerk
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks