Kuis terkait panduan · Keras Tingkat

Normalisasi Hadiah yang Dikelompokkan dalam Kuis RLHF

Pelajari bagaimana GRPO membandingkan sampel tanggapan dalam kelompok cepat, menghilangkan kritik, dan menggunakan tujuan bergaya PPO untuk pembaruan kebijakan.

Jalur panduan terkaitNormalisasi Hadiah yang Dikelompokkan Di Rlhf
Pertanyaan 1 dari 8

Dalam normalisasi imbalan berkelompok, dengan apa imbalan masing-masing respons dibandingkan?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Dalam normalisasi imbalan berkelompok, dengan apa imbalan masing-masing respons dibandingkan?
    • Rata-rata dan deviasi standar dari kelompok promptnya sendiri
    • Konstanta global yang tetap
    • Hadiah dari zaman sebelumnya
    • Jumlah parameter model
  2. Algoritme mana yang paling banyak dikaitkan dengan normalisasi imbalan berkelompok?
    • Penurunan gradien stokastik
    • GRPO (Optimasi Kebijakan Relatif Grup)
    • Pengelompokan K-means
    • Propagasi mundur
  3. Komponen PPO standar apa yang dihilangkan oleh GRPO?
    • Model penghargaan
    • Jaringan saraf seluruhnya
    • Jaringan nilai yang terpisah (kritikus)
    • Data pelatihan
  4. Apa yang terjadi pada respons yang imbalannya berada di bawah rata-rata kelompoknya?
    • Ia menerima keuntungan positif dan diperkuat
    • Itu dihapus dari kumpulan data
    • Pahalanya berlipat ganda
    • Ia menerima keuntungan negatif dan tidak dianjurkan
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy