RLHF میں گروپ شدہ انعام کو معمول بنانا
گروپ شدہ انعام کو معمول پر لانے سے ماڈل کے انعامات کو ایک ہی پرامپٹ کے جوابات کے بیچ میں معیاری بناتا ہے، شور والے اسکور کو ایک مستحکم تربیتی سگنل میں بدل دیتا ہے۔
جائزہ
It is the core trick behind GRPO, the algorithm that powers many modern reasoning models.
گہرا غوطہ
ہیومن فیڈ بیک (RLHF) سے کمک سیکھنے میں، ایک ماڈل ردعمل پیدا کرتا ہے اور ایک انعامی ماڈل ان کو اسکور کرتا ہے، لیکن خام انعامات شور ہوتے ہیں اور اشارے پر بے حد مختلف ہوتے ہیں۔ گروپڈ ریوارڈ نارملائزیشن ایک ہی پرامپٹ پر کئی جوابات کے ایک گروپ کو نمونہ بنا کر، پھر گروپ کے اوسط کو گھٹا کر اور گروپ کے معیاری انحراف سے تقسیم کر کے ہر انعام کو معمول پر لاتا ہے۔ یہ زیڈ سکور فائدہ بن جاتا ہے۔ یہ نقطہ نظر گروپ ریلیٹیو پالیسی آپٹیمائزیشن (GRPO) کے لیے مرکزی ہے، جسے DeepSeek نے متعارف کرایا، جس نے DeepSeek-R1 کے استدلال کو مشہور کیا۔ اہم طور پر، GRPO PPO کے ذریعے استعمال ہونے والے علیحدہ ویلیو نیٹ ورک (تنقید) کو ختم کرتا ہے، کیونکہ گروپ اوسط بنیادی لائن کے طور پر کام کرتا ہے۔ یہ تربیت کو آسان، سستا، اور زیادہ میموری کو موثر بناتا ہے جبکہ گریڈینٹ سگنل کو اچھی طرح سے پیمانہ رکھتا ہے۔
تکنیکی بصیرت
انعامات r_1...r_G کے ساتھ آؤٹ پٹ کے ایک گروپ کے لیے، فائدہ A_i = (r_i − mean(r)) / std(r) ہے۔ ان کے گروپ کی اوسط سے بہتر جوابات کو مثبت فائدہ ملتا ہے اور ان کو تقویت ملتی ہے۔ اوسط سے بدتر لوگوں کو نیچے دھکیل دیا جاتا ہے۔ چونکہ موازنہ ایک پرامپٹ کے اندر رشتہ دار ہے، مطلق انعامی پیمانہ اور فی پرامپٹ مشکل کو منسوخ کر دیتا ہے، فرق کو کم کرتا ہے۔ ماڈل کو بہت دور جانے سے روکنے کے لیے GRPO PPO کے تراشے ہوئے مقصد اور KL جرمانے کو ریفرنس پالیسی کے خلاف رکھتا ہے۔
اسٹریٹجک اثر
واضح فیصلے
یہ آپ کو مارکیٹنگ کی زبان سے واضح تکنیکی دعووں کو الگ کرنے میں مدد کرتا ہے۔
لاگت اور بجٹ
آپ پیسہ یا وقت خرچ کرنے سے پہلے بہتر نفاذ کے سوالات پوچھ سکتے ہیں۔
Team and workflow
مشترکہ تفہیم کے ساتھ ٹیمیں بہتر پروڈکٹ، پالیسی اور سیکھنے کے فیصلے کرتی ہیں۔
RLHF میں گروپڈ ریوارڈ نارملائزیشن کا مستقبل
گروپڈ نارملائزیشن ریجننگ ماڈل کی تیزی کو ہوا دے رہی ہے، جہاں ماڈلز قابل تصدیق انعامات سے سیکھتے ہیں جیسے کہ بغیر کسی سیکھے ہوئے نقاد کے درست ریاضی کے جوابات۔ تحقیق اسے بہتر کر رہی ہے: اس بات پر بحثیں کہ آیا معیاری انحراف سے تقسیم کیا جائے، تمام درست یا تمام غلط گروپوں کو ہینڈل کیا جائے جو صفر فائدہ پیدا کرتے ہیں، اور گروپ کے سائز کو پیمائی کرتے ہیں۔ ایجنٹ ٹول کے استعمال اور کوڈ جنریشن میں گروپ بندی، تنقید سے پاک طریقوں کی توقع کریں، جہاں خودکار تصدیق کرنے والے سستے، بھرپور انعامی سگنل فراہم کرتے ہیں۔
حقیقی دنیا کا نفاذ
فی مسئلہ 16 حلوں کے نمونے لے کر اور گروپ کی اوسط درستگی سے اوپر والوں کو انعام دے کر ریاضی کے استدلال کے ماڈل کی تربیت کرنا۔
ہر صارف کے پرامپٹ پر متعدد امیدواروں کے جوابات میں ریوارڈ-ماڈل اسکورز کو معمول پر لا کر چیٹ بوٹ کی مدد کو ٹھیک کرنا۔
ایک کوڈنگ اسسٹنٹ کو بہتر بنانا جہاں ہر نمونے کے حل کو اسکور کیا جاتا ہے کہ آیا یہ یونٹ ٹیسٹ پاس کرتا ہے، پھر گروپ میں نارمل کیا جاتا ہے۔
RLHF پائپ لائن میں GPU میموری کو کم کرنا PPO تنقیدی نیٹ ورک کو چھوڑ کر اور اس کے بجائے گروپ کے مطلب کو بیس لائن کے طور پر استعمال کر کے۔
خطرات اور گارڈریلز
مختلف ٹیمیں ایک ہی اصطلاح کو مختلف طریقے سے استعمال کر سکتی ہیں، اس لیے دائرہ کار کی جلد وضاحت کریں۔
بینچ مارکس مضبوط نظر آسکتے ہیں جبکہ حقیقی دنیا کی کارکردگی ناہموار ہے۔
ڈیٹا کے معیار اور تشخیص کے منصوبوں کو نظر انداز کرنا اکثر نازک نتائج پیدا کرتا ہے۔
نفاذ کا روڈ میپ
آپ کو مطلوبہ نتائج کی سادہ زبان کی تعریف کے ساتھ شروع کریں۔
جانچ کرنے سے پہلے ایک کامیابی میٹرک اور ایک ناکامی کی شرط منتخب کریں۔
نمائندہ ڈیٹا کے ساتھ ایک چھوٹا پائلٹ چلائیں، نہ کہ پالش شدہ ڈیمو سیٹ۔
دستاویز جہاں RLHF میں گروپڈ ریوارڈ نارملائزیشن میں مدد ملتی ہے اور جہاں آسان طریقے بہتر ہیں۔
دریافت کرتے رہیں
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped Reward Normalization in RLHF quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
اگلا گائیڈ
ترجیحی اصلاح میں لمبائی نارملائزیشن
اکثر پوچھے گئے سوالات
What is Grouped Reward Normalization in RLHF?
گروپ شدہ انعام کو معمول پر لانے سے ماڈل کے انعامات کو ایک ہی پرامپٹ کے جوابات کے بیچ میں معیاری بناتا ہے، شور والے اسکور کو ایک مستحکم تربیتی سگنل میں بدل دیتا ہے۔ یہ GRPO کے پیچھے بنیادی چال ہے، الگورتھم جو بہت سے جدید استدلال کے ماڈلز کو طاقت دیتا ہے۔
گروپ شدہ انعام کو معمول پر لانے میں، ہر جواب کے انعام کے مقابلے میں کیا ہے؟
اسی پرامپٹ کے جوابات کے گروپ کے اوسط اور معیاری انحراف کا استعمال کرتے ہوئے ہر انعام کو زیڈ سکور میں تبدیل کیا جاتا ہے۔
کون سا الگورتھم گروپ شدہ انعام کو معمول پر لانے کے ساتھ سب سے زیادہ وابستہ ہے؟
GRPO، جسے DeepSeek نے متعارف کرایا ہے اور DeepSeek-R1 میں استعمال کیا گیا ہے، ایک گروپ کے اندر انعامات کو معمول پر لانے کے ارد گرد بنایا گیا ہے۔
معیاری پی پی او کے کون سے جز کو GRPO خاص طور پر ختم کرتا ہے؟
گروپ اوسط کو بیس لائن کے طور پر استعمال کرتے ہوئے، GRPO سیکھے ہوئے نقاد کو چھوڑ دیتا ہے، میموری اور کمپیوٹ کو بچاتا ہے۔
اس جواب کا کیا ہوتا ہے جس کا اجر اس کے گروپ کے اوسط سے کم ہو؟
گروپ کو گھٹانے کا مطلب ہے کہ اوسط سے کم جوابات کا منفی فائدہ ہوتا ہے، جو پالیسی کو ان سے دور کر دیتا ہے۔
ایک گروپ کے اندر نارمل کرنے سے ٹریننگ میں فرق کیوں کم ہوتا ہے؟
چونکہ موازنہ ہر ایک پرامپٹ میں نسبتاً ہوتا ہے، اس لیے مطلق پیمانے اور فوری مشکل میں فرق ختم ہو جاتا ہے۔