RLHF কুইজে দলবদ্ধ পুরস্কার স্বাভাবিককরণ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. দলবদ্ধ পুরষ্কার স্বাভাবিককরণে, প্রতিটি প্রতিক্রিয়ার পুরষ্কার কিসের সাথে তুলনা করা হয়?
   • তার নিজস্ব প্রম্পটের গ্রুপের গড় এবং মানক বিচ্যুতি
   • একটি স্থির বিশ্বব্যাপী ধ্রুবক
   • আগের যুগ থেকে পুরস্কার
   • মডেলের পরামিতি গণনা
2. কোন অ্যালগরিদম দলবদ্ধ পুরষ্কার স্বাভাবিককরণের সাথে সবচেয়ে বেশি যুক্ত?
   • স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট
   • GRPO (গ্রুপ রিলেটিভ পলিসি অপ্টিমাইজেশান)
   • K- মানে ক্লাস্টারিং
   • ব্যাকপ্রপাগেশন
3. স্ট্যান্ডার্ড পিপিওর কোন উপাদানটি জিআরপিও উল্লেখযোগ্যভাবে বাদ দেয়?
   • পুরস্কারের মডেল
   • সম্পূর্ণরূপে নিউরাল নেটওয়ার্ক
   • পৃথক মান নেটওয়ার্ক (সমালোচক)
   • প্রশিক্ষণ তথ্য
4. একটি প্রতিক্রিয়ার কী হবে যার পুরষ্কার তার দলের গড় থেকে কম?
   • এটি ইতিবাচক সুবিধা পায় এবং চাঙ্গা হয়
   • এটি ডেটাসেট থেকে মুছে ফেলা হয়
   • এর সওয়াব দ্বিগুণ
   • এটি নেতিবাচক সুবিধা পায় এবং নিরুৎসাহিত হয়
5. What does within-prompt reward normalization provide to a GRPO update?
   • A relative, scaled advantage for each response compared with others for the same prompt
   • A guarantee that all prompt difficulty differences disappear
   • A higher learning rate
   • A way to make every response receive the same reward
6. What happens when every response in a prompt group receives the same reward?
   • Every response gets a positive advantage
   • Centering gives no relative advantage; zero spread also requires numerical handling
   • The group mean doubles the reward
   • The model stops needing a policy objective
7. Which PPO-style update element does GRPO retain?
   • A separately learned value network
   • K-means clustering over tokens
   • A clipped policy objective
   • A language-model tokenizer
8. What can a KL penalty relative to a reference policy help constrain in GRPO?
   • The number of prompts in each group
   • The length of the tokenizer vocabulary
   • The resolution of generated images
   • How far the updated policy drifts from the reference policy