ต่อไปคำแนะนำต่อไป
การเพิ่มประสิทธิภาพนโยบายที่ใกล้เคียง
ภาษาเอไอ
คู่มือทางเทคนิค
Group Relative Policy Optimization (GRPO) เป็นวิธีการเรียนรู้แบบเสริมกำลังสำหรับการปรับแต่งโมเดลภาษาอย่างละเอียด ซึ่งจะตัดสินแต่ละคำตอบกับกลุ่มคำตอบพี่น้องในพร้อมต์เดียวกัน โดยกำจัดเครือข่ายค่าที่แยกจากกันที่ใช้โดย PPO
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It became famous as the core training trick behind DeepSeek's reasoning models.
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
การฝึกอบรม DeepSeek-R1 และ DeepSeekMath เพื่อสร้างการให้เหตุผลแบบลูกโซ่ทางความคิดแบบยาวโดยใช้รางวัลความถูกต้องตามกฎเกณฑ์สำหรับปัญหาทางคณิตศาสตร์
การปรับแต่งโมเดลการสร้างโค้ดอย่างละเอียด โดยแต่ละโซลูชันตัวอย่างจะได้รับคะแนนจากการผ่านการทดสอบหน่วยหรือไม่ และกลุ่มจะได้รับการปรับให้เป็นมาตรฐานเพื่อเลือกผู้ชนะ
ไปป์ไลน์ RLHF แบบโอเพนซอร์ส (เช่น ในไลบรารี TRL และ verl) โดยใช้ GRPO เพื่อจัดรูปแบบการแชทโดยไม่ต้องจ่ายเงินสำหรับเครือข่ายค่าที่แยกจากกัน
การปรับปรุงการปฏิบัติตามคำสั่งหรือพฤติกรรมด้านความปลอดภัยโดยการสุ่มตัวอย่างหลายคำตอบต่อการแจ้งเตือนและให้รางวัลแบบจำลองการให้รางวัลที่มีอัตราสูงสุดเมื่อเทียบกับเพื่อนของพวกเขา
GRPO กลายเป็นสูตรเริ่มต้นอย่างรวดเร็วสำหรับการฝึกแบบจำลองการใช้เหตุผลแบบเปิด และห้องทดลองกำลังทำซ้ำจุดอ่อน นักวิจัยกำลังสำรวจการแก้ไขอคติด้านความยาวและความยาก (เช่น Dr. GRPO) ระดับโทเค็นมากกว่าการทำให้เป็นมาตรฐานระดับลำดับ และการลบหรือปรับรูปแบบคำศัพท์ KL ใหม่ คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับรางวัลที่ตรวจสอบได้ (คณิตศาสตร์ โค้ด การใช้เครื่องมือ) การจัดการสัญญาณกระจัดกระจายที่ดีขึ้น และแบบผสมที่รวมเส้นฐานกลุ่มเข้ากับการวิจารณ์แบบเบาสำหรับงานเอเจนต์ที่มีหลายขั้นตอน
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Group Relative Policy Optimization (GRPO) เป็นวิธีการเรียนรู้แบบเสริมกำลังสำหรับการปรับแต่งโมเดลภาษาอย่างละเอียด ซึ่งจะตัดสินแต่ละคำตอบกับกลุ่มคำตอบพี่น้องในพร้อมต์เดียวกัน โดยกำจัดเครือข่ายค่าที่แยกจากกันที่ใช้โดย PPO มันมีชื่อเสียงในฐานะเคล็ดลับการฝึกอบรมหลักที่อยู่เบื้องหลังโมเดลการใช้เหตุผลของ DeepSeek
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
ข้อดีของการสำเร็จแต่ละครั้งคือ (รางวัล - ค่าเฉลี่ยกลุ่ม) / ส่วนเบี่ยงเบนมาตรฐานของกลุ่ม ดังนั้นกลุ่มของคำตอบในข้อความเดียวกันจึงทำหน้าที่เป็นพื้นฐาน
GRPO ได้รับการแนะนำและเผยแพร่โดย DeepSeek โดยเฉพาะอย่างยิ่งใน DeepSeekMath และเป็นเครื่องมือ RL ที่อยู่เบื้องหลังโมเดลการให้เหตุผล DeepSeek-R1
การลงโทษ KL ต่อโมเดลอ้างอิง (โดยปกติคือ pre-RL) จะทำให้การฝึกอบรมเป็นปกติ ดังนั้นนโยบายจึงปรับปรุงโดยไม่ยุบหรือเบี่ยงเบนไปสู่เอาต์พุตที่เสื่อมถอย
สุ่มตัวอย่างโซลูชันจำนวนมากและให้คะแนนด้วยการตรวจสอบความถูกต้องอัตโนมัติ จับคู่กับข้อได้เปรียบแบบกลุ่มของ GRPO อย่างชัดเจน โดยไม่จำเป็นต้องวิจารณ์
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การเพิ่มประสิทธิภาพนโยบายที่ใกล้เคียง
ภาษาเอไอ