Gids-gekoppelde quiz · Moeilijk Niveau
Quiz voor relatieve beleidsoptimalisatie van groepen
Pas GRPO-groepsbeloningsnormalisatie, verwijdering van critici en regularisatie van referentiebeleid toe, inclusief wat relatieve voordelen betekenen binnen één prompt.
Vraag 1 van 8
Which separately learned estimator does the original GRPO approach avoid training?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Which separately learned estimator does the original GRPO approach avoid training?
- The policy that generates completions
- A value or critic model
- Every possible reward function
- The reference policy’s vocabulary
- Hoe berekent GRPO het voordeel voor een bepaalde voltooiing?
- Door bij elk token een geleerde waardekop op te vragen
- Door de ruwe beloning te gebruiken zonder normalisatie
- Door het te vergelijken met voltooiingen van een andere prompt
- Door de beloning te standaardiseren tegen het gemiddelde en de standaardafwijking van de groep voltooiingen van broers en zussen
- Welke modellen hebben GRPO bekend gemaakt?
- DeepSeek's DeepSeekMath en DeepSeek-R1 redeneermodellen
- OpenAI's GPT-2-serie
- De originele BERT van Google
- De Llama 2-basismodellen van Meta
- Welke rol speelt de KL-divergentieterm in GRPO?
- Het genereert de groep voltooiingen
- Het vervangt het beloningsmodel
- Het zorgt ervoor dat het getrainde beleid niet te ver afdwaalt van een bevroren referentiemodel
- Het berekent de schatting van de waarde per token
- Waarom is GRPO vooral aantrekkelijk voor het trainen van redeneermodellen op het gebied van wiskunde of code?
- Er is helemaal geen beloningssignaal voor nodig
- Het werkt alleen met menselijke voorkeurslabels
- Er kunnen geen bemonsterde voltooiingen worden gebruikt
- Het werkt op natuurlijke wijze met verifieerbare, op regels gebaseerde beloningen (bijvoorbeeld: kwam het antwoord overeen of slaagden de tests) die werden gescoord voor een groep bemonsterde oplossingen
- Wat is een bekend vooroordeel dat vervolgwerk (zoals Dr. GRPO) probeert te corrigeren in vanilla GRPO?
- Een neiging om de beloning volledig te negeren
- Vooroordelen over lengte en moeilijkheidsgraad die worden geïntroduceerd door de manier waarop beloningen worden genormaliseerd
- Een onvermogen om meer dan één voltooiing te bemonsteren
- Een vereiste voor een enorm criticinetwerk
- Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
- The completion rewarded 2
- The completion rewarded 6
- The completion rewarded 4
- All completions because rewards differ
- Why compare GRPO reward statistics among completions of the same prompt?
- They provide a relative baseline for alternative answers to that prompt
- They require unrelated prompts to have equal difficulty
- They replace checking whether an answer is correct
- They make the highest reward identical across all tasks