Kuis terkait panduan · Keras Tingkat

Kuis Optimasi Kebijakan Relatif Grup

Terapkan normalisasi penghargaan grup GRPO, penghapusan kritik, dan regularisasi kebijakan referensi, termasuk apa arti keuntungan relatif dalam satu waktu.

Jalur panduan terkaitOptimasi Kebijakan Relatif Grup
Pertanyaan 1 dari 8

Which separately learned estimator does the original GRPO approach avoid training?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. Bagaimana GRPO menghitung keuntungan untuk penyelesaian tertentu?
    • Dengan menanyakan nilai yang dipelajari di setiap token
    • Dengan menggunakan hadiah mentah tanpa normalisasi
    • Dengan membandingkannya dengan penyelesaian dari prompt yang berbeda
    • Dengan membakukan imbalannya terhadap rata-rata dan deviasi standar kelompok penyelesaian saudaranya
  3. Model manakah yang membuat GRPO terkenal?
    • Model penalaran DeepSeekMath dan DeepSeek-R1 DeepSeek
    • Seri GPT-2 OpenAI
    • BERT asli Google
    • Model dasar Llama 2 Meta
  4. Apa peran istilah KL-divergence dalam GRPO?
    • Ini menghasilkan kelompok penyelesaian
    • Ini menggantikan model penghargaan
    • Hal ini menjaga kebijakan terlatih agar tidak menyimpang terlalu jauh dari model referensi yang dibekukan
    • Ini menghitung perkiraan nilai per token
  5. Mengapa GRPO sangat menarik untuk melatih model penalaran matematika atau kode?
    • Itu tidak memerlukan sinyal hadiah sama sekali
    • Ini hanya berfungsi dengan label preferensi manusia
    • Itu tidak dapat menggunakan penyelesaian sampel
    • Ini bekerja secara alami dengan imbalan berdasarkan aturan yang dapat diverifikasi (misalnya, apakah jawabannya cocok atau tesnya lulus) yang dinilai pada sekelompok solusi sampel
  6. Bias apa yang diketahui yang coba diperbaiki oleh penelitian lanjutan (seperti Dr. GRPO) di vanilla GRPO?
    • Kecenderungan untuk mengabaikan imbalan sepenuhnya
    • Bias panjang dan kesulitan disebabkan oleh bagaimana imbalan dinormalisasi
    • Ketidakmampuan untuk mengambil sampel lebih dari satu penyelesaian
    • Suatu persyaratan untuk jaringan kritikus yang sangat besar
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks