แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

การทำให้รางวัลเป็นมาตรฐานแบบกลุ่มในแบบทดสอบ RLHF

เรียนรู้ว่า GRPO เปรียบเทียบการตอบสนองที่สุ่มภายในกลุ่มพรอมต์, ลบผู้วิจารณ์, และใช้วัตถุประสงค์สไตล์ PPO สำหรับการอัปเดตนโยบายอย่างไร

เส้นทางแนะนำที่เกี่ยวข้องการแบ่งกลุ่มรางวัลให้เป็นมาตรฐานใน Rlhf
คำถาม 1 ของ 8

ในการทำให้รางวัลเป็นมาตรฐานแบบกลุ่ม รางวัลของแต่ละคำตอบเทียบกับอะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ในการทำให้รางวัลเป็นมาตรฐานแบบกลุ่ม รางวัลของแต่ละคำตอบเทียบกับอะไร?
    • ค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของกลุ่มพร้อมท์ของตัวเอง
    • ค่าคงที่ส่วนกลางคงที่
    • รางวัลจากยุคก่อน
    • จำนวนพารามิเตอร์ของโมเดล
  2. อัลกอริทึมใดที่เกี่ยวข้องกับการทำให้รางวัลเป็นมาตรฐานแบบกลุ่มมากที่สุด
    • โคตรลาดสุ่ม
    • GRPO (การเพิ่มประสิทธิภาพนโยบายกลุ่มสัมพันธ์)
    • การจัดกลุ่ม K-mean
    • การขยายพันธุ์กลับ
  3. GRPO กำจัดองค์ประกอบใดของ PPO มาตรฐานออกไปอย่างชัดเจน
    • รูปแบบการให้รางวัล
    • โครงข่ายประสาทเทียมทั้งหมด
    • เครือข่ายคุณค่าที่แยกจากกัน (นักวิจารณ์)
    • ข้อมูลการฝึกอบรม
  4. จะเกิดอะไรขึ้นกับคำตอบที่ได้รับรางวัลต่ำกว่าค่าเฉลี่ยของกลุ่ม?
    • ได้รับข้อได้เปรียบเชิงบวกและได้รับการเสริมกำลัง
    • มันถูกลบออกจากชุดข้อมูล
    • รางวัลของมันคือสองเท่า
    • มันได้รับข้อได้เปรียบเชิงลบและท้อแท้
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy