تحسين السياسة النسبية للمجموعة
يعد تحسين السياسة النسبية للمجموعة (GRPO) أسلوبًا للتعلم المعزز لتحسين نماذج اللغة التي تحكم على كل إجابة مقابل مجموعة من الإجابات الشقيقة لنفس الموجه، مما يلغي شبكة القيمة المنفصلة التي يستخدمها PPO.
نظرة عامة
It became famous as the core training trick behind DeepSeek's reasoning models.
الغوص العميق
GRPO هو أحد أشكال التعلم المعزز المتدرج للسياسة المصمم لجعل الضبط الدقيق لنماذج اللغات الكبيرة أرخص وأكثر استقرارًا. يحتاج PPO القياسي إلى "ناقد" متعلم (نموذج القيمة)، تقريبًا بحجم السياسة نفسها، لتقدير مدى جودة كل رمز مميز. تقوم GRPO بإزالة هذا الناقد تمامًا. بالنسبة لكل موجه، يقوم بأخذ عينات من مجموعة من الإكمالات (على سبيل المثال 8-64)، ويسجلها جميعًا بإشارة مكافأة، ثم يحسب ميزة كل إنجاز من خلال توحيد مكافأته مقابل متوسط المجموعة والانحراف المعياري. يتم تعزيز الإجابات فوق المتوسط وإلغاء الإجابات الأقل من المتوسط. يُبقي مصطلح تباعد KL النموذج قريبًا من السياسة المرجعية. تم تقديمه بواسطة DeepSeek، وهو يدعم DeepSeekMath ونماذج التفكير DeepSeek-R1.
البصيرة الفنية
الفكرة الأساسية هي استبدال خط الأساس للقيمة المكتسبة لـ PPO بخط أساس لمجموعة مونت كارلو. بالنسبة لمجموعة من المخرجات ذات المكافآت r_i، تكون كل ميزة هي A_i = (r_i - mean(r)) / std(r). تضاعف هذه النتيجة الطبيعية نسبة الاحتمال المقطوعة، تمامًا كما هو الحال في PPO، كما أن عقوبة KL ضد النموذج المرجعي المتجمد تحد من الانحراف. ونظرًا لعدم تدريب أي ناقد، تنخفض الذاكرة والحوسبة إلى النصف تقريبًا، وتمنح التسوية السريعة مزايا منخفضة التباين ومقياسًا طبيعيًا.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل تحسين السياسة النسبية للمجموعة
لقد أصبح GRPO سريعًا الوصفة الافتراضية لتدريب نماذج الاستدلال المفتوح، وتقوم المختبرات بتكرار نقاط ضعفه. يستكشف الباحثون إصلاحات لتحيزات الطول والصعوبة (مثل Dr. GRPO)، ومستوى الرمز المميز بدلاً من التطبيع على مستوى التسلسل، وإزالة مصطلح KL أو إعادة تشكيله. توقع تكاملًا أكثر إحكامًا مع مكافآت يمكن التحقق منها (الرياضيات والتعليمات البرمجية واستخدام الأدوات)، ومعالجة أفضل للإشارات المتفرقة، والهجينة التي تجمع بين الخطوط الأساسية للمجموعة والنقاد الخفيفين للمهام الفعالة ومتعددة الخطوات.
التنفيذ في العالم الحقيقي
تدريب DeepSeek-R1 وDeepSeekMath لإنتاج سلسلة طويلة من التفكير باستخدام مكافآت الصحة القائمة على القواعد في مسائل الرياضيات
الضبط الدقيق لنماذج إنشاء الأكواد حيث يتم تسجيل كل حل عينة من خلال ما إذا كان يجتاز اختبارات الوحدة، ويتم تسوية المجموعة لاختيار الفائزين
خطوط أنابيب RLHF مفتوحة المصدر (على سبيل المثال، في مكتبات TRL وverl) باستخدام GRPO لمواءمة نماذج الدردشة دون الدفع مقابل شبكة قيمة منفصلة
تحسين اتباع التعليمات أو سلوك السلامة من خلال أخذ عينات من العديد من الاستجابات لكل موجه ومكافأة تلك الاستجابات بنموذج المكافأة الذي يسجل أعلى نسبة مقارنة بأقرانهم
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Relative Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
تحسين السياسة القريبة
الأسئلة المتداولة
What is Group Relative Policy Optimization?
يعد تحسين السياسة النسبية للمجموعة (GRPO) أسلوبًا للتعلم المعزز لتحسين نماذج اللغة التي تحكم على كل إجابة مقابل مجموعة من الإجابات الشقيقة لنفس الموجه، مما يلغي شبكة القيمة المنفصلة التي يستخدمها PPO. لقد أصبحت مشهورة باعتبارها خدعة التدريب الأساسية وراء نماذج التفكير الخاصة بـ DeepSeek.
ما هو المكون الرئيسي لـ PPO الذي تقضي عليه GRPO؟
يؤدي تغيير توقيع GRPO إلى إسقاط نموذج القيمة/الناقد المكتسب لـ PPO، والذي يكون عادةً بنفس حجم السياسة تقريبًا، مما يوفر قدرًا كبيرًا من الذاكرة والحوسبة.
كيف يحسب GRPO الميزة لإتمام معين؟
ميزة كل إكمال هي (المكافأة - متوسط المجموعة) / الانحراف المعياري للمجموعة، وبالتالي فإن مجموعة الإجابات على نفس الموجه تعمل كخط الأساس.
ما هي النماذج التي جعلت GRPO مشهورة؟
تم تقديم GRPO ونشره بواسطة DeepSeek، ولا سيما في DeepSeekMath وباعتباره محرك RL وراء نماذج التفكير DeepSeek-R1.
ما هو الدور الذي يلعبه مصطلح التباعد KL في GRPO؟
تعمل عقوبة KL ضد نموذج مرجعي (عادة ما يكون نموذج ما قبل RL) على تنظيم التدريب بحيث تتحسن السياسة دون الانهيار أو الانجراف إلى مخرجات متدهورة.
لماذا تعتبر GRPO جذابة بشكل خاص لنماذج التدريب على التفكير في الرياضيات أو الكود؟
إن أخذ عينات من العديد من الحلول وتسجيلها من خلال التحقق من الصحة التلقائية يتوافق بشكل واضح مع مزايا GRPO المقيسة على مستوى المجموعة، دون الحاجة إلى أي نقد.