ٹیکنیکل گائیڈ
گروپ رشتہ دار پالیسی کی اصلاح
گروپ ریلیٹیو پالیسی آپٹیمائزیشن (GRPO) ٹھیک ٹیوننگ لینگوئج ماڈلز کے لیے ایک کمک سیکھنے کا طریقہ ہے جو PPO کے ذریعے استعمال کیے جانے والے علیحدہ ویلیو نیٹ ورک کو ختم کرتے ہوئے، ایک ہی پرامپٹ پر بہن بھائیوں کے جوابات کے ایک گروپ کے خلاف ہر جواب کا فیصلہ کرتا ہے۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
It became famous as the core training trick behind DeepSeek's reasoning models.
گہرا غوطہ
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
حقیقی دنیا کا نفاذ
ریاضی کے مسائل پر اصول پر مبنی درستگی کے انعامات کا استعمال کرتے ہوئے طویل سلسلہ فکری استدلال پیدا کرنے کے لیے DeepSeek-R1 اور DeepSeekMath کو تربیت دینا
فائن ٹیوننگ کوڈ جنریشن ماڈل جہاں ہر نمونے کے حل کو اس بات سے اسکور کیا جاتا ہے کہ آیا یہ یونٹ ٹیسٹ پاس کرتا ہے، اور گروپ کو جیتنے والوں کو منتخب کرنے کے لیے معمول بنایا جاتا ہے۔
اوپن سورس RLHF پائپ لائنز (مثال کے طور پر، TRL اور verl لائبریریوں میں) GRPO کا استعمال کرتے ہوئے چیٹ ماڈلز کو ایک علیحدہ ویلیو نیٹ ورک کی ادائیگی کے بغیر سیدھ میں لانا
فی پرامپٹ کئی جوابات کے نمونے لے کر اور ان کے ساتھیوں کے مقابلے میں سب سے زیادہ ریوارڈ ماڈل کی شرح کو انعام دے کر ہدایات پر عمل کرنے یا حفاظتی رویے کو بہتر بنانا
گروپ رشتہ دار پالیسی کی اصلاح کا مستقبل
GRPO تیزی سے کھلے استدلال کے ماڈلز کی تربیت کے لیے ایک طے شدہ نسخہ بن گیا ہے، اور لیبز اس کے کمزور مقامات پر دوبارہ کام کر رہی ہیں۔ محققین لمبائی اور دشواری کے تعصبات (جیسے ڈاکٹر GRPO)، ترتیب کی سطح کو معمول پر لانے کے بجائے ٹوکن لیول، اور KL کی اصطلاح کو ہٹانے یا نئی شکل دینے کے لیے اصلاحات تلاش کر رہے ہیں۔ قابل تصدیق انعامات (ریاضی، کوڈ، ٹول کا استعمال)، ویرل سگنلز کی بہتر ہینڈلنگ، اور ہائبرڈز کے ساتھ سخت انضمام کی توقع کریں جو ایجنٹی، کثیر قدمی کاموں کے لیے ہلکے وزن کے نقادوں کے ساتھ گروپ بیس لائنز کو یکجا کرتے ہیں۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
- واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
- کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
پر نگاہ رکھیں
- ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
- بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
- سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
اگلے اقدامات
- نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
- حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
- غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
- اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the Group Relative Policy Optimization quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
What is Group Relative Policy Optimization?
گروپ ریلیٹیو پالیسی آپٹیمائزیشن (GRPO) ٹھیک ٹیوننگ لینگوئج ماڈلز کے لیے ایک کمک سیکھنے کا طریقہ ہے جو PPO کے ذریعے استعمال کیے جانے والے علیحدہ ویلیو نیٹ ورک کو ختم کرتے ہوئے، ایک ہی پرامپٹ پر بہن بھائیوں کے جوابات کے ایک گروپ کے خلاف ہر جواب کا فیصلہ کرتا ہے۔ یہ ڈیپ سیک کے استدلال کے ماڈلز کے پیچھے بنیادی تربیتی چال کے طور پر مشہور ہوا۔
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO کسی دی گئی تکمیل کے فائدے کی گنتی کیسے کرتا ہے؟
ہر تکمیل کا فائدہ (انعام - گروپ کا مطلب) / گروپ معیاری انحراف ہے، لہذا اسی پرامپٹ کے جوابات کا گروپ بیس لائن کے طور پر کام کرتا ہے۔
کن ماڈلز نے GRPO کو مشہور کیا؟
GRPO کو DeepSeek نے متعارف کرایا اور مقبول کیا، خاص طور پر DeepSeekMath میں اور DeepSeek-R1 ریجننگ ماڈلز کے پیچھے RL انجن کے طور پر۔
GRPO میں KL-divergence اصطلاح کیا کردار ادا کرتی ہے؟
ایک حوالہ (عام طور پر پری RL) ماڈل کے خلاف KL جرمانہ تربیت کو باقاعدہ بناتا ہے تاکہ پالیسی گرے یا انحطاط پذیر نتائج میں بڑھے بغیر بہتر ہو جائے۔
GRPO خاص طور پر ریاضی یا کوڈ پر استدلال کے ماڈلز کی تربیت کے لیے پرکشش کیوں ہے؟
بہت سے حلوں کے نمونے لینے اور خودکار درستگی کی جانچ پڑتال کے ساتھ اسکور کرنا GRPO کے گروپ کے معمول کے فوائد کے ساتھ صاف ستھری ہے، کسی تنقید کی ضرورت نہیں ہے۔
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔