Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Csoportos relatív házirend optimalizálási kvíz
Apply GRPO group reward normalization, critic removal, and reference-policy regularization, including what relative advantages mean within one prompt.
kérdés 1 -ból 8
Which separately learned estimator does the original GRPO approach avoid training?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Which separately learned estimator does the original GRPO approach avoid training?
- The policy that generates completions
- A value or critic model
- Every possible reward function
- The reference policy’s vocabulary
- Hogyan számítja ki a GRPO egy adott teljesítési előnyt?
- Minden tokennél lekérdezve egy tanult értékfejet
- A nyers jutalom normalizálás nélküli felhasználásával
- Összehasonlítva egy másik prompt befejezéseivel
- Azáltal, hogy a jutalmát szabványosítja a testvérteljesítések csoportjának átlagához és szórásához
- Mely modellek tették ismertté a GRPO-t?
- A DeepSeek DeepSeekMath és DeepSeek-R1 érvelési modelljei
- OpenAI GPT-2 sorozata
- Google eredeti BERT-je
- Meta Llama 2 alapmodelljei
- Milyen szerepet játszik a KL-divergencia kifejezés a GRPO-ban?
- Ez hozza létre a befejezések csoportját
- Ez helyettesíti a jutalom modellt
- Megakadályozza, hogy a képzett politika túl messzire sodródjon egy megfagyott referenciamodelltől
- Kiszámítja a tokenenkénti értékbecslést
- Miért különösen vonzó a GRPO a matematikai vagy kódolási gondolkodási modellek képzéséhez?
- Egyáltalán nem igényel jutalomjelet
- Csak az emberi preferencia címkékkel működik
- Nem használhat mintavételezett kiegészítéseket
- Természetesen működik ellenőrizhető, szabályokon alapuló jutalmakkal (pl. egyezett-e a válasz vagy sikeresek voltak-e a tesztek), amelyeket a mintavételi megoldások csoportjában értékelnek.
- Mi az az ismert torzítás, amelyet a nyomon követési munka (mint például a Dr. GRPO) korrigálni próbál a vanília GRPO-ban?
- A jutalom teljes figyelmen kívül hagyására való hajlam
- A jutalmak normalizálása által bevezetett hossz- és nehézségi torzítások
- Képtelenség egynél több befejezésből mintát venni
- Hatalmas kritikus hálózat követelménye
- Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
- The completion rewarded 2
- The completion rewarded 6
- The completion rewarded 4
- All completions because rewards differ
- Why compare GRPO reward statistics among completions of the same prompt?
- They provide a relative baseline for alternative answers to that prompt
- They require unrelated prompts to have equal difficulty
- They replace checking whether an answer is correct
- They make the highest reward identical across all tasks