แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
การทำให้รางวัลเป็นมาตรฐานแบบกลุ่มในแบบทดสอบ RLHF
เรียนรู้ว่า GRPO เปรียบเทียบการตอบสนองที่สุ่มภายในกลุ่มพรอมต์, ลบผู้วิจารณ์, และใช้วัตถุประสงค์สไตล์ PPO สำหรับการอัปเดตนโยบายอย่างไร
คำถาม 1 ของ 8
ในการทำให้รางวัลเป็นมาตรฐานแบบกลุ่ม รางวัลของแต่ละคำตอบเทียบกับอะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในการทำให้รางวัลเป็นมาตรฐานแบบกลุ่ม รางวัลของแต่ละคำตอบเทียบกับอะไร?
- ค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของกลุ่มพร้อมท์ของตัวเอง
- ค่าคงที่ส่วนกลางคงที่
- รางวัลจากยุคก่อน
- จำนวนพารามิเตอร์ของโมเดล
- อัลกอริทึมใดที่เกี่ยวข้องกับการทำให้รางวัลเป็นมาตรฐานแบบกลุ่มมากที่สุด
- โคตรลาดสุ่ม
- GRPO (การเพิ่มประสิทธิภาพนโยบายกลุ่มสัมพันธ์)
- การจัดกลุ่ม K-mean
- การขยายพันธุ์กลับ
- GRPO กำจัดองค์ประกอบใดของ PPO มาตรฐานออกไปอย่างชัดเจน
- รูปแบบการให้รางวัล
- โครงข่ายประสาทเทียมทั้งหมด
- เครือข่ายคุณค่าที่แยกจากกัน (นักวิจารณ์)
- ข้อมูลการฝึกอบรม
- จะเกิดอะไรขึ้นกับคำตอบที่ได้รับรางวัลต่ำกว่าค่าเฉลี่ยของกลุ่ม?
- ได้รับข้อได้เปรียบเชิงบวกและได้รับการเสริมกำลัง
- มันถูกลบออกจากชุดข้อมูล
- รางวัลของมันคือสองเท่า
- มันได้รับข้อได้เปรียบเชิงลบและท้อแท้
- What does within-prompt reward normalization provide to a GRPO update?
- A relative, scaled advantage for each response compared with others for the same prompt
- A guarantee that all prompt difficulty differences disappear
- A higher learning rate
- A way to make every response receive the same reward
- What happens when every response in a prompt group receives the same reward?
- Every response gets a positive advantage
- Centering gives no relative advantage; zero spread also requires numerical handling
- The group mean doubles the reward
- The model stops needing a policy objective
- Which PPO-style update element does GRPO retain?
- A separately learned value network
- K-means clustering over tokens
- A clipped policy objective
- A language-model tokenizer
- What can a KL penalty relative to a reference policy help constrain in GRPO?
- The number of prompts in each group
- The length of the tokenizer vocabulary
- The resolution of generated images
- How far the updated policy drifts from the reference policy