Kuiz berkaitan panduan · Keras Tahap

Kuiz Pengoptimuman Dasar Relatif Kumpulan

Gunakan penormalan ganjaran kumpulan GRPO, penyingkiran pengkritik dan penyelarasan dasar rujukan, termasuk maksud kelebihan relatif dalam satu gesaan.

Laluan panduan yang berkaitanPengoptimuman Dasar Relatif Kumpulan
soalan 1 daripada 8

Which separately learned estimator does the original GRPO approach avoid training?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Bagaimanakah GRPO mengira kelebihan untuk penyiapan tertentu?
    • Dengan menanyakan kepala nilai yang dipelajari pada setiap token
    • Dengan menggunakan ganjaran mentah tanpa normalisasi
    • Dengan membandingkannya dengan penyiapan daripada gesaan yang berbeza
    • Dengan menyeragamkan ganjarannya terhadap min dan sisihan piawai kumpulan penyiapan adik-beradiknya
  3. Model manakah yang menjadikan GRPO terkenal?
    • Model penaakulan DeepSeekMath dan DeepSeek-R1 DeepSeek
    • Siri GPT-2 OpenAI
    • BERT asal Google
    • Model asas Llama 2 Meta
  4. Apakah peranan yang dimainkan oleh istilah KL-divergence dalam GRPO?
    • Ia menjana kumpulan penyiapan
    • Ia menggantikan model ganjaran
    • Ia mengekalkan dasar terlatih daripada hanyut terlalu jauh daripada model rujukan beku
    • Ia mengira anggaran nilai setiap token
  5. Mengapakah GRPO sangat menarik untuk melatih model penaakulan tentang matematik atau kod?
    • Ia tidak memerlukan isyarat ganjaran sama sekali
    • Ia hanya berfungsi dengan label keutamaan manusia
    • Ia tidak boleh menggunakan penyiapan sampel
    • Ia berfungsi secara semula jadi dengan ganjaran berasaskan peraturan yang boleh disahkan (cth., adakah jawapan sepadan atau adakah ujian lulus) yang dijaringkan merentas kumpulan penyelesaian sampel
  6. Apakah satu kecenderungan yang diketahui bahawa kerja susulan (seperti Dr. GRPO) cuba betulkan dalam GRPO vanila?
    • Kecenderungan untuk mengabaikan ganjaran sepenuhnya
    • Berat sebelah panjang dan kesukaran diperkenalkan oleh cara ganjaran dinormalisasi
    • Ketidakupayaan untuk mencuba lebih daripada satu penyiapan
    • Keperluan untuk rangkaian pengkritik yang besar
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks