الدليل الفني
تحسين السياسة النسبية للمجموعة
يعد تحسين السياسة النسبية للمجموعة (GRPO) أسلوبًا للتعلم المعزز لتحسين نماذج اللغة التي تحكم على كل إجابة مقابل مجموعة من الإجابات الشقيقة لنفس الموجه، مما يلغي شبكة القيمة المنفصلة التي يستخدمها PPO.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
أصبح مشهورًا كالتقنية الأساسية للتدريب وراء نماذج التفكير الخاصة بـ DeepSeek.
الغوص العميق
GRPO هو نسخة من التعلم المعزز بالانحدار المتدرج مصممة لجعل ضبط RL لنماذج اللغة الكبيرة أرخص وأكثر استقرارًا. تقوم العديد من تطبيقات PPO بتدريب نموذج قيمة لتقدير العوائد؛ حجمها وتكلفتها تعتمد على التطبيق. يزيل GRPO هذا الناقد تمامًا. لكل طلب يُعَيّن مجموعة من الاكتمالات (مثلاً 8-64)، ويقيمها جميعًا بإشارة مكافأة، ثم يحسب ميزة كل إكمال عن طريق توحيد مكافآتها مقابل متوسط المجموعة والانحراف المعياري. تُعزز الإجابات التي تتجاوز المتوسط وتُثبط تلك التي تقل عنه. يضمن مصطلح KL-تباعد الحفاظ على النموذج قريبًا من سياسة مرجعية. تم تقديمه من قبل DeepSeek، وقد دعم DeepSeekMath ونماذج التفكير DeepSeek-R1.
التنفيذ في العالم الحقيقي
تدريب DeepSeek-R1 وDeepSeekMath لإنتاج سلسلة طويلة من التفكير باستخدام مكافآت الصحة القائمة على القواعد في مسائل الرياضيات
الضبط الدقيق لنماذج إنشاء الأكواد حيث يتم تسجيل كل حل عينة من خلال ما إذا كان يجتاز اختبارات الوحدة، ويتم تسوية المجموعة لاختيار الفائزين
خطوط أنابيب RLHF مفتوحة المصدر (على سبيل المثال، في مكتبات TRL وverl) باستخدام GRPO لمواءمة نماذج الدردشة دون الدفع مقابل شبكة قيمة منفصلة
تحسين اتباع التعليمات أو سلوك السلامة من خلال أخذ عينات من العديد من الاستجابات لكل موجه ومكافأة تلك الاستجابات بنموذج المكافأة الذي يسجل أعلى نسبة مقارنة بأقرانهم
مستقبل تحسين السياسة النسبية للمجموعة
لقد أصبح GRPO سريعًا الوصفة الافتراضية لتدريب نماذج الاستدلال المفتوح، وتقوم المختبرات بتكرار نقاط ضعفه. يستكشف الباحثون إصلاحات لتحيزات الطول والصعوبة (مثل Dr. GRPO)، ومستوى الرمز المميز بدلاً من التطبيع على مستوى التسلسل، وإزالة مصطلح KL أو إعادة تشكيله. توقع تكاملًا أكثر إحكامًا مع مكافآت يمكن التحقق منها (الرياضيات والتعليمات البرمجية واستخدام الأدوات)، ومعالجة أفضل للإشارات المتفرقة، والهجينة التي تجمع بين الخطوط الأساسية للمجموعة والنقاد الخفيفين للمهام الفعالة ومتعددة الخطوات.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
اختبر مسابقة تحسين سياسة المجموعة النسبية
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو تحسين سياسة المجموعة النسبية؟
يعد تحسين السياسة النسبية للمجموعة (GRPO) أسلوبًا للتعلم المعزز لتحسين نماذج اللغة التي تحكم على كل إجابة مقابل مجموعة من الإجابات الشقيقة لنفس الموجه، مما يلغي شبكة القيمة المنفصلة التي يستخدمها PPO. لقد أصبحت مشهورة باعتبارها خدعة التدريب الأساسية وراء نماذج التفكير الخاصة بـ DeepSeek.
أي مُقدّر تم تعلمه بشكل منفصل يتجنب تدريبه النهج الأصلي لـ GRPO؟
يستخدم GRPO خط أساس نسبي للمجموعة بدلاً من مُقدّر قيمة تم تعلمه بشكل منفصل. يعتمد حجم وفوائد الموارد على تطبيق PPO المستخدم للمقارنة.
كيف يحسب GRPO الميزة لإتمام معين؟
ميزة كل إكمال هي (المكافأة - متوسط المجموعة) / الانحراف المعياري للمجموعة، وبالتالي فإن مجموعة الإجابات على نفس الموجه تعمل كخط الأساس.
ما هي النماذج التي جعلت GRPO مشهورة؟
تم تقديم GRPO ونشره بواسطة DeepSeek، ولا سيما في DeepSeekMath وباعتباره محرك RL وراء نماذج التفكير DeepSeek-R1.
ما هو الدور الذي يلعبه مصطلح التباعد KL في GRPO؟
تعمل عقوبة KL ضد نموذج مرجعي (عادة ما يكون نموذج ما قبل RL) على تنظيم التدريب بحيث تتحسن السياسة دون الانهيار أو الانجراف إلى مخرجات متدهورة.
لماذا تعتبر GRPO جذابة بشكل خاص لنماذج التدريب على التفكير في الرياضيات أو الكود؟
إن أخذ عينات من العديد من الحلول وتسجيلها من خلال التحقق من الصحة التلقائية يتوافق بشكل واضح مع مزايا GRPO المقيسة على مستوى المجموعة، دون الحاجة إلى أي نقد.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع