گائیڈ سے منسلک کوئز · مشکل سطح

گروپ ریلیٹیو پالیسی آپٹیمائزیشن کوئز

GRPO گروپ ریوارڈ نارملائزیشن، تنقید کو ہٹانا، اور حوالہ پالیسی ریگولرائزیشن کا اطلاق کریں، بشمول ایک پرامپٹ کے اندر متعلقہ فوائد کا کیا مطلب ہے۔

متعلقہ گائیڈ کے راستےگروپ رشتہ دار پالیسی کی اصلاح
سوال 1 کی 8

Which separately learned estimator does the original GRPO approach avoid training?

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. GRPO کسی دی گئی تکمیل کے فائدے کی گنتی کیسے کرتا ہے؟
    • ہر ٹوکن پر ایک سیکھی ہوئی ویلیو ہیڈ سے استفسار کر کے
    • بغیر کسی نارملائزیشن کے خام اجر کا استعمال کرکے
    • اس کا موازنہ کسی مختلف پرامپٹ کی تکمیل سے کر کے
    • اس کے اجر کو اس کے بھائی کی تکمیل کے گروپ کے اوسط اور معیاری انحراف کے خلاف معیاری بنا کر
  3. کن ماڈلز نے GRPO کو مشہور کیا؟
    • DeepSeek کے DeepSeekMath اور DeepSeek-R1 کے استدلال کے ماڈل
    • OpenAI کی GPT-2 سیریز
    • Google کا اصل BERT
    • Meta کے Llama 2 بیس ماڈلز
  4. GRPO میں KL-divergence اصطلاح کیا کردار ادا کرتی ہے؟
    • یہ تکمیلات کا گروپ تیار کرتا ہے۔
    • یہ انعام کے ماڈل کی جگہ لے لیتا ہے۔
    • یہ تربیت یافتہ پالیسی کو منجمد حوالہ ماڈل سے بہت دور جانے سے روکتا ہے۔
    • یہ فی ٹوکن قدر کے تخمینے کی گنتی کرتا ہے۔
  5. GRPO خاص طور پر ریاضی یا کوڈ پر استدلال کے ماڈلز کی تربیت کے لیے پرکشش کیوں ہے؟
    • اسے کسی بھی انعامی سگنل کی ضرورت نہیں ہے۔
    • یہ صرف انسانی ترجیحی لیبلز کے ساتھ کام کرتا ہے۔
    • یہ نمونے کی تکمیل کو استعمال نہیں کر سکتا
    • یہ قدرتی طور پر قابل تصدیق، اصول پر مبنی انعامات کے ساتھ کام کرتا ہے (مثال کے طور پر، کیا جواب ملا یا ٹیسٹ پاس ہوئے)
  6. ایک معروف تعصب کیا ہے جو فالو اپ کام (جیسے ڈاکٹر GRPO) ونیلا GRPO میں درست کرنے کی کوشش کرتا ہے؟
    • انعام کو مکمل طور پر نظر انداز کرنے کا رجحان
    • طوالت اور دشواری کے تعصبات کو متعارف کرایا گیا ہے کہ انعامات کو کیسے معمول بنایا جاتا ہے۔
    • ایک سے زیادہ تکمیل کے نمونے لینے میں ناکامی۔
    • ایک بہت بڑا تنقیدی نیٹ ورک کی ضرورت
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks