Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Csoportos relatív házirend optimalizálási kvíz

Apply GRPO group reward normalization, critic removal, and reference-policy regularization, including what relative advantages mean within one prompt.

kérdés 1 -ból 8

Which separately learned estimator does the original GRPO approach avoid training?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Hogyan számítja ki a GRPO egy adott teljesítési előnyt?
    • Minden tokennél lekérdezve egy tanult értékfejet
    • A nyers jutalom normalizálás nélküli felhasználásával
    • Összehasonlítva egy másik prompt befejezéseivel
    • Azáltal, hogy a jutalmát szabványosítja a testvérteljesítések csoportjának átlagához és szórásához
  3. Mely modellek tették ismertté a GRPO-t?
    • A DeepSeek DeepSeekMath és DeepSeek-R1 érvelési modelljei
    • OpenAI GPT-2 sorozata
    • Google eredeti BERT-je
    • Meta Llama 2 alapmodelljei
  4. Milyen szerepet játszik a KL-divergencia kifejezés a GRPO-ban?
    • Ez hozza létre a befejezések csoportját
    • Ez helyettesíti a jutalom modellt
    • Megakadályozza, hogy a képzett politika túl messzire sodródjon egy megfagyott referenciamodelltől
    • Kiszámítja a tokenenkénti értékbecslést
  5. Miért különösen vonzó a GRPO a matematikai vagy kódolási gondolkodási modellek képzéséhez?
    • Egyáltalán nem igényel jutalomjelet
    • Csak az emberi preferencia címkékkel működik
    • Nem használhat mintavételezett kiegészítéseket
    • Természetesen működik ellenőrizhető, szabályokon alapuló jutalmakkal (pl. egyezett-e a válasz vagy sikeresek voltak-e a tesztek), amelyeket a mintavételi megoldások csoportjában értékelnek.
  6. Mi az az ismert torzítás, amelyet a nyomon követési munka (mint például a Dr. GRPO) korrigálni próbál a vanília GRPO-ban?
    • A jutalom teljes figyelmen kívül hagyására való hajlam
    • A jutalmak normalizálása által bevezetett hossz- és nehézségi torzítások
    • Képtelenség egynél több befejezésből mintát venni
    • Hatalmas kritikus hálózat követelménye
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks