ต่อไปคำแนะนำต่อไป
การทำให้เป็นมาตรฐานความยาวในการเพิ่มประสิทธิภาพการตั้งค่า
ความรู้พื้นฐาน
คู่มือพื้นฐาน
การทำให้รางวัลเป็นมาตรฐานแบบกลุ่มจะแสดงรางวัลของการสุ่มตัวอย่างแต่ละรายการโดยสัมพันธ์กับคำตอบอื่นๆ สำหรับพร้อมท์เดียวกัน
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.
Comparing several candidate math solutions from one prompt using a verifier score
Using code-test results to rank responses generated for the same coding prompt
Inspecting how a reward model’s scores vary within one prompt group
Reducing memory use in a PPO-style language-model update by omitting a separate value network
Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
รางวัลแต่ละรายการจะถูกแปลงเป็นคะแนน z โดยใช้ค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของกลุ่มการตอบกลับในข้อความแจ้งเดียวกัน
GRPO ซึ่งเปิดตัวโดย DeepSeek และใช้ใน DeepSeek-R1 สร้างขึ้นจากการปรับรางวัลให้เป็นมาตรฐานภายในกลุ่ม
ด้วยการใช้ค่าเฉลี่ยกลุ่มเป็นพื้นฐาน GRPO จะละทิ้งคำวิจารณ์ที่ได้เรียนรู้ ซึ่งช่วยประหยัดหน่วยความจำและการคำนวณ
การลบค่าเฉลี่ยกลุ่มจะทำให้คำตอบที่ต่ำกว่าค่าเฉลี่ยมีข้อได้เปรียบเชิงลบ และผลักนโยบายออกไป
Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การทำให้เป็นมาตรฐานความยาวในการเพิ่มประสิทธิภาพการตั้งค่า
ความรู้พื้นฐาน