คู่มือทางเทคนิค

การเพิ่มประสิทธิภาพนโยบายสัมพันธ์กลุ่ม

Group Relative Policy Optimization (GRPO) เป็นวิธีการเรียนรู้แบบเสริมกำลังสำหรับการปรับแต่งโมเดลภาษาอย่างละเอียด ซึ่งจะตัดสินแต่ละคำตอบกับกลุ่มคำตอบพี่น้องในพร้อมต์เดียวกัน โดยกำจัดเครือข่ายค่าที่แยกจากกันที่ใช้โดย PPO

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการเพิ่มประสิทธิภาพนโยบายสัมพัทธ์กลุ่ม
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It became famous as the core training trick behind DeepSeek's reasoning models.

เจาะลึก

GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.

การใช้งานจริงในโลกแห่งความเป็นจริง

การฝึกอบรม DeepSeek-R1 และ DeepSeekMath เพื่อสร้างการให้เหตุผลแบบลูกโซ่ทางความคิดแบบยาวโดยใช้รางวัลความถูกต้องตามกฎเกณฑ์สำหรับปัญหาทางคณิตศาสตร์

การปรับแต่งโมเดลการสร้างโค้ดอย่างละเอียด โดยแต่ละโซลูชันตัวอย่างจะได้รับคะแนนจากการผ่านการทดสอบหน่วยหรือไม่ และกลุ่มจะได้รับการปรับให้เป็นมาตรฐานเพื่อเลือกผู้ชนะ

ไปป์ไลน์ RLHF แบบโอเพนซอร์ส (เช่น ในไลบรารี TRL และ verl) โดยใช้ GRPO เพื่อจัดรูปแบบการแชทโดยไม่ต้องจ่ายเงินสำหรับเครือข่ายค่าที่แยกจากกัน

การปรับปรุงการปฏิบัติตามคำสั่งหรือพฤติกรรมด้านความปลอดภัยโดยการสุ่มตัวอย่างหลายคำตอบต่อการแจ้งเตือนและให้รางวัลแบบจำลองการให้รางวัลที่มีอัตราสูงสุดเมื่อเทียบกับเพื่อนของพวกเขา

อนาคตของการเพิ่มประสิทธิภาพนโยบายสัมพัทธ์กลุ่ม

GRPO กลายเป็นสูตรเริ่มต้นอย่างรวดเร็วสำหรับการฝึกแบบจำลองการใช้เหตุผลแบบเปิด และห้องทดลองกำลังทำซ้ำจุดอ่อน นักวิจัยกำลังสำรวจการแก้ไขอคติด้านความยาวและความยาก (เช่น Dr. GRPO) ระดับโทเค็นมากกว่าการทำให้เป็นมาตรฐานระดับลำดับ และการลบหรือปรับรูปแบบคำศัพท์ KL ใหม่ คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับรางวัลที่ตรวจสอบได้ (คณิตศาสตร์ โค้ด การใช้เครื่องมือ) การจัดการสัญญาณกระจัดกระจายที่ดีขึ้น และแบบผสมที่รวมเส้นฐานกลุ่มเข้ากับการวิจารณ์แบบเบาสำหรับงานเอเจนต์ที่มีหลายขั้นตอน

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Group Relative Policy Optimization quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Group Relative Policy Optimization?

Group Relative Policy Optimization (GRPO) เป็นวิธีการเรียนรู้แบบเสริมกำลังสำหรับการปรับแต่งโมเดลภาษาอย่างละเอียด ซึ่งจะตัดสินแต่ละคำตอบกับกลุ่มคำตอบพี่น้องในพร้อมต์เดียวกัน โดยกำจัดเครือข่ายค่าที่แยกจากกันที่ใช้โดย PPO มันมีชื่อเสียงในฐานะเคล็ดลับการฝึกอบรมหลักที่อยู่เบื้องหลังโมเดลการใช้เหตุผลของ DeepSeek

Which separately learned estimator does the original GRPO approach avoid training?

GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.

GRPO คำนวณข้อได้เปรียบสำหรับความสำเร็จที่กำหนดอย่างไร

ข้อดีของการสำเร็จแต่ละครั้งคือ (รางวัล - ค่าเฉลี่ยกลุ่ม) / ส่วนเบี่ยงเบนมาตรฐานของกลุ่ม ดังนั้นกลุ่มของคำตอบในข้อความเดียวกันจึงทำหน้าที่เป็นพื้นฐาน

รุ่นไหนที่ทำให้ GRPO เป็นที่รู้จัก?

GRPO ได้รับการแนะนำและเผยแพร่โดย DeepSeek โดยเฉพาะอย่างยิ่งใน DeepSeekMath และเป็นเครื่องมือ RL ที่อยู่เบื้องหลังโมเดลการให้เหตุผล DeepSeek-R1

คำว่า KL-divergence มีบทบาทอย่างไรใน GRPO

การลงโทษ KL ต่อโมเดลอ้างอิง (โดยปกติคือ pre-RL) จะทำให้การฝึกอบรมเป็นปกติ ดังนั้นนโยบายจึงปรับปรุงโดยไม่ยุบหรือเบี่ยงเบนไปสู่เอาต์พุตที่เสื่อมถอย

เหตุใด GRPO จึงน่าสนใจเป็นพิเศษในการฝึกอบรมโมเดลการใช้เหตุผลทางคณิตศาสตร์หรือโค้ด

สุ่มตัวอย่างโซลูชันจำนวนมากและให้คะแนนด้วยการตรวจสอบความถูกต้องอัตโนมัติ จับคู่กับข้อได้เปรียบแบบกลุ่มของ GRPO อย่างชัดเจน โดยไม่จำเป็นต้องวิจารณ์

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →