اختبار مرتبط بالدليل · صعب المستوى

اختبار تحسين السياسة النسبية للمجموعة

تطبيق تطبيع مكافأة المجموعة GRPO، إزالة الناقد، وتنظيم سياسة المرجع، بما في ذلك ما تعنيه المزايا النسبية داخل موجه واحد.

مسارات الدليل ذات الصلةتحسين السياسة النسبية للمجموعة
سؤال 1 من 8

أي مُقدّر تم تعلمه بشكل منفصل يتجنب تدريبه النهج الأصلي لـ GRPO؟

معاينة كل سؤال8 أسئلة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

  1. أي مُقدّر تم تعلمه بشكل منفصل يتجنب تدريبه النهج الأصلي لـ GRPO؟
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. كيف يحسب GRPO الميزة لإتمام معين؟
    • من خلال الاستعلام عن رأس القيمة المستفادة عند كل رمز مميز
    • باستخدام المكافأة الخام مع عدم وجود تطبيع
    • من خلال مقارنتها بالإكمالات من موجه مختلف
    • من خلال توحيد مكافأتها مقابل المتوسط والانحراف المعياري لمجموعتها من الأشقاء المكتملين
  3. ما هي النماذج التي جعلت GRPO مشهورة؟
    • نماذج التفكير DeepSeekMath و DeepSeek-R1 من DeepSeek
    • OpenAI سلسلة GPT-2
    • Google بيرت الأصلي
    • Meta نماذج Llama 2 الأساسية
  4. ما هو الدور الذي يلعبه مصطلح التباعد KL في GRPO؟
    • فهو يولد مجموعة من الإكمالات
    • إنه يحل محل نموذج المكافأة
    • فهو يمنع السياسة المدربة من الانجراف بعيدًا عن النموذج المرجعي المجمد
    • فهو يحسب تقدير القيمة لكل رمز مميز
  5. لماذا تعتبر GRPO جذابة بشكل خاص لنماذج التدريب على التفكير في الرياضيات أو الكود؟
    • لا يتطلب أي إشارة مكافأة على الإطلاق
    • إنه يعمل فقط مع تسميات التفضيل البشري
    • لا يمكن استخدام الإكمالات التي تم أخذ عينات منها
    • إنه يعمل بشكل طبيعي مع مكافآت يمكن التحقق منها وقائمة على القواعد (على سبيل المثال، هل تطابقت الإجابة أو نجح في الاختبارات) وتم تسجيلها عبر مجموعة من الحلول التي تم أخذ عينات منها
  6. ما هو أحد التحيزات المعروفة التي تحاول أعمال المتابعة (مثل Dr. GRPO) تصحيحها في الفانيليا GRPO؟
    • الميل إلى تجاهل المكافأة تمامًا
    • تحيزات الطول والصعوبة المقدمة من خلال كيفية تطبيع المكافآت
    • عدم القدرة على أخذ عينة من أكثر من إنجاز واحد
    • متطلب لشبكة ناقدة هائلة
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks