คู่มือพื้นฐาน

การทำให้รางวัลเป็นมาตรฐานแบบกลุ่มใน RLHF

การทำให้รางวัลเป็นมาตรฐานแบบกลุ่มจะแสดงรางวัลของการสุ่มตัวอย่างแต่ละรายการโดยสัมพันธ์กับคำตอบอื่นๆ สำหรับพร้อมท์เดียวกัน

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการทำให้รางวัลเป็นมาตรฐานแบบกลุ่มใน RLHF
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.

เจาะลึก

DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.

การใช้งานจริงในโลกแห่งความเป็นจริง

Comparing several candidate math solutions from one prompt using a verifier score

Using code-test results to rank responses generated for the same coding prompt

Inspecting how a reward model’s scores vary within one prompt group

Reducing memory use in a PPO-style language-model update by omitting a separate value network

อนาคตของการทำให้รางวัลเป็นมาตรฐานแบบกลุ่มใน RLHF

Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
  • ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
  • ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ระวัง

  • แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
  • เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
  • การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

ขั้นตอนต่อไป

  1. เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
  2. เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
  3. ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
  4. เอกสารที่การช่วยเหลือการทำให้รางวัลเป็นมาตรฐานแบบกลุ่มใน RLHF และวิธีที่ง่ายกว่าจะดีกว่า

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Grouped Reward Normalization in RLHF quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Grouped Reward Normalization in RLHF?

Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.

ในการทำให้รางวัลเป็นมาตรฐานแบบกลุ่ม รางวัลของแต่ละคำตอบเทียบกับอะไร?

รางวัลแต่ละรายการจะถูกแปลงเป็นคะแนน z โดยใช้ค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของกลุ่มการตอบกลับในข้อความแจ้งเดียวกัน

อัลกอริทึมใดที่เกี่ยวข้องกับการทำให้รางวัลเป็นมาตรฐานแบบกลุ่มมากที่สุด

GRPO ซึ่งเปิดตัวโดย DeepSeek และใช้ใน DeepSeek-R1 สร้างขึ้นจากการปรับรางวัลให้เป็นมาตรฐานภายในกลุ่ม

GRPO กำจัดองค์ประกอบใดของ PPO มาตรฐานออกไปอย่างชัดเจน

ด้วยการใช้ค่าเฉลี่ยกลุ่มเป็นพื้นฐาน GRPO จะละทิ้งคำวิจารณ์ที่ได้เรียนรู้ ซึ่งช่วยประหยัดหน่วยความจำและการคำนวณ

จะเกิดอะไรขึ้นกับคำตอบที่ได้รับรางวัลต่ำกว่าค่าเฉลี่ยของกลุ่ม?

การลบค่าเฉลี่ยกลุ่มจะทำให้คำตอบที่ต่ำกว่าค่าเฉลี่ยมีข้อได้เปรียบเชิงลบ และผลักนโยบายออกไป

What does within-prompt reward normalization provide to a GRPO update?

Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →