প্রক্সিমাল পলিসি অপ্টিমাইজেশান কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. PPO এর 'ক্লিপিং' প্রাথমিকভাবে কোন সমস্যাটির সমাধান করে?
   • অত্যধিক বড় নীতি আপডেট যা প্রশিক্ষণকে অস্থিতিশীল করে
   • ধীরগতির ডেটা লোড হচ্ছে
   • শব্দভান্ডার আকার সীমা
   • অনুমানের সময় মেমরি ব্যবহার
2. PPO সহ ভাষা-মডেল RLHF-এ, পুরস্কারের সংকেত সাধারণত কোথা থেকে আসে?
   • প্রতিটি টোকেনের সরাসরি মানবিক স্কোরিং
   • একটি প্রশিক্ষিত পুরস্কার মডেল
   • অপ্টিমাইজারের শেখার হার
   • শব্দভান্ডারের আকার
3. PPO-ভিত্তিক RLHF-এ কেএল-ডাইভারজেন্স পেনাল্টি কী করে?
   • টোকেন প্রজন্মের গতি বাড়ায়
   • পুরস্কার মডেলের নির্ভুলতা বাড়ায়
   • রেফারেন্স মডেল থেকে খুব বেশি দূরে সরে যাওয়া থেকে সূক্ষ্ম সুর করা মডেলটিকে রাখে
   • একটি মান নেটওয়ার্কের প্রয়োজনীয়তা দূর করে
4. পিপিওতে মান (সমালোচক) নেটওয়ার্কের ভূমিকা কী?
   • চূড়ান্ত পাঠ্য আউটপুট তৈরি করতে
   • প্রশিক্ষণ তথ্য সংরক্ষণ করতে
   • পুরস্কার মডেল সম্পূর্ণরূপে প্রতিস্থাপন
   • প্রত্যাশিত রিটার্ন অনুমান করতে যাতে সুবিধাগুলি গণনা করা যায়
5. PPO-তে 'সুবিধা' কী উপস্থাপন করে?
   • প্রত্যাশিত বেসলাইনের চেয়ে একটি অ্যাকশন কতটা ভালো ছিল
   • মডেলের মোট প্যারামিটার গণনা
   • ক্লিপিং পরিসীমা
   • KL পেনাল্টি সহগ
6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
   • It removes all policy sampling and optimizes only supervised labels
   • It estimates relative advantages from groups of sampled responses without a separate value critic
   • It uses a trained reward model as a value network
   • It guarantees zero policy drift after one update
7. What probability ratio does PPO clip in its surrogate objective?
   • The reward divided by the number of prompts
   • The value estimate divided by the KL coefficient
   • The new policy’s action probability divided by the old policy’s action probability
   • The sequence length divided by batch size
8. Why is PPO called an on-policy method in its standard form?
   • It trains only on a static image dataset
   • It never samples actions
   • It updates only a reward model
   • It collects trajectories using the current policy being optimized