اختبار تحسين السياسة القريبة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هي المشكلة التي يعالجها "قص" PPO بشكل أساسي؟
   • تحديثات السياسة الكبيرة جدًا التي تؤدي إلى زعزعة استقرار التدريب
   • بطء تحميل البيانات
   • حدود حجم المفردات
   • استخدام الذاكرة أثناء الاستدلال
2. في نموذج اللغة RLHF مع PPO، من أين تأتي إشارة المكافأة عادةً؟
   • التسجيل البشري المباشر لكل رمز
   • نموذج مكافأة مدربة
   • معدل التعلم للمحسن
   • حجم المفردات
3. ماذا تفعل عقوبة تباعد KL في RLHF القائم على PPO؟
   • يسرع توليد الرمز المميز
   • يزيد من دقة نموذج المكافأة
   • يحافظ على النموذج المضبوط جيدًا من الانجراف بعيدًا عن النموذج المرجعي
   • يلغي الحاجة إلى شبكة القيمة
4. ما هو دور شبكة القيمة (الناقدة) في PPO؟
   • لتوليد إخراج النص النهائي
   • لتخزين بيانات التدريب
   • لاستبدال نموذج المكافأة بالكامل
   • لتقدير العائد المتوقع حتى يمكن حساب المزايا
5. ماذا تمثل "الميزة" في PPO؟
   • كم كان الإجراء أفضل بكثير من خط الأساس المتوقع
   • إجمالي عدد معلمات النموذج
   • نطاق القطع
   • معامل عقوبة KL
6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
   • It removes all policy sampling and optimizes only supervised labels
   • It estimates relative advantages from groups of sampled responses without a separate value critic
   • It uses a trained reward model as a value network
   • It guarantees zero policy drift after one update
7. What probability ratio does PPO clip in its surrogate objective?
   • The reward divided by the number of prompts
   • The value estimate divided by the KL coefficient
   • The new policy’s action probability divided by the old policy’s action probability
   • The sequence length divided by batch size
8. Why is PPO called an on-policy method in its standard form?
   • It trains only on a static image dataset
   • It never samples actions
   • It updates only a reward model
   • It collects trajectories using the current policy being optimized