গ্রুপ রিলেটিভ পলিসি অপ্টিমাইজেশান কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. Which separately learned estimator does the original GRPO approach avoid training?
   • The policy that generates completions
   • A value or critic model
   • Every possible reward function
   • The reference policy’s vocabulary
2. GRPO কিভাবে একটি প্রদত্ত সমাপ্তির সুবিধা গণনা করে?
   • প্রতিটি টোকেনে একটি শেখা মান হেড জিজ্ঞাসা করে
   • কোন স্বাভাবিককরণ ছাড়া কাঁচা পুরস্কার ব্যবহার করে
   • এটি একটি ভিন্ন প্রম্পট থেকে সমাপ্তির সাথে তুলনা করে
   • তার ভাইবোন সমাপ্তির গোষ্ঠীর গড় এবং আদর্শ বিচ্যুতির বিপরীতে এর পুরস্কারকে মানককরণ করে
3. কোন মডেলগুলি GRPO কে সুপরিচিত করেছে?
   • DeepSeek এর DeepSeekMath এবং DeepSeek-R1 যুক্তি মডেল
   • OpenAI এর GPT-2 সিরিজ
   • Google এর আসল BERT
   • Meta এর লামা 2 বেস মডেল
4. GRPO-তে KL-ডাইভারজেন্স শব্দটি কী ভূমিকা পালন করে?
   • এটি সমাপ্তির গ্রুপ তৈরি করে
   • এটি পুরস্কার মডেল প্রতিস্থাপন
   • এটি প্রশিক্ষিত নীতিকে একটি হিমায়িত রেফারেন্স মডেল থেকে খুব বেশি দূরে সরিয়ে রাখে
   • এটি প্রতি-টোকেন মূল্য অনুমান গণনা করে
5. কেন GRPO গণিত বা কোডের উপর যুক্তির মডেল প্রশিক্ষণের জন্য বিশেষভাবে আকর্ষণীয়?
   • এটির জন্য কোনও পুরষ্কার সংকেতের প্রয়োজন নেই
   • এটা শুধুমাত্র মানুষের পছন্দ লেবেল সঙ্গে কাজ করে
   • এটি নমুনাযুক্ত সমাপ্তি ব্যবহার করতে পারে না
   • এটি স্বাভাবিকভাবেই যাচাইযোগ্য, নিয়ম-ভিত্তিক পুরষ্কারগুলির সাথে কাজ করে (যেমন, উত্তর মিলেছে বা পরীক্ষায় পাস করেছে) নমুনাযুক্ত সমাধানগুলির একটি গ্রুপে স্কোর করা হয়েছে
6. একটি পরিচিত পক্ষপাত কি যা ফলো-আপ কাজ (যেমন ড. GRPO) ভ্যানিলা GRPO-তে সংশোধন করার চেষ্টা করে?
   • পুরস্কারকে সম্পূর্ণরূপে উপেক্ষা করার প্রবণতা
   • পুরষ্কার কিভাবে স্বাভাবিক করা হয় তার দ্বারা প্রবর্তিত দৈর্ঘ্য এবং অসুবিধা পক্ষপাত
   • একাধিক সমাপ্তির নমুনা দিতে অক্ষমতা
   • একটি বিশাল সমালোচক নেটওয়ার্কের জন্য একটি প্রয়োজন
7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
   • The completion rewarded 2
   • The completion rewarded 6
   • The completion rewarded 4
   • All completions because rewards differ
8. Why compare GRPO reward statistics among completions of the same prompt?
   • They provide a relative baseline for alternative answers to that prompt
   • They require unrelated prompts to have equal difficulty
   • They replace checking whether an answer is correct
   • They make the highest reward identical across all tasks