Kuiz berkaitan panduan · Keras Tahap

Normalisasi Ganjaran Berkumpulan dalam Kuiz RLHF

Ketahui cara GRPO membandingkan respons sampel dalam kumpulan segera, mengalih keluar pengkritik dan menggunakan objektif gaya PPO untuk kemas kini dasar.

Laluan panduan yang berkaitanNormalisasi Ganjaran Berkumpulan Dalam Rlhf
soalan 1 daripada 8

Dalam normalisasi ganjaran berkumpulan, berapakah ganjaran setiap respons berbanding?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Dalam normalisasi ganjaran berkumpulan, berapakah ganjaran setiap respons berbanding?
    • Min dan sisihan piawai kumpulan gesaannya sendiri
    • Pemalar global tetap
    • Ganjaran dari zaman sebelumnya
    • Kiraan parameter model
  2. Algoritma manakah yang paling dikaitkan dengan normalisasi ganjaran berkumpulan?
    • Penurunan kecerunan stokastik
    • GRPO (Pengoptimuman Dasar Relatif Kumpulan)
    • K-bermaksud pengelompokan
    • Penyebaran balik
  3. Apakah komponen PPO standard yang ketara dihapuskan oleh GRPO?
    • Model ganjaran
    • Rangkaian saraf sepenuhnya
    • Rangkaian nilai berasingan (pengkritik)
    • Data latihan
  4. Apakah yang berlaku kepada respons yang ganjarannya berada di bawah min kumpulannya?
    • Ia menerima kelebihan positif dan diperkukuh
    • Ia dipadamkan daripada set data
    • Ganjarannya dilipat gandakan
    • Ia menerima kelebihan negatif dan tidak digalakkan
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy