পুরস্কার মডেলিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. প্রদত্ত প্রম্পট-প্রতিক্রিয়া জোড়ার জন্য একটি পুরস্কার মডেলের প্রাথমিক আউটপুট কী?
   • একটি একক স্কেলার স্কোর
   • একটি সম্পূর্ণ টেক্সট প্রতিক্রিয়া
   • শব্দভান্ডারের উপর একটি সম্ভাব্যতা বন্টন
   • পছন্দের টোকেনগুলির একটি তালিকা
2. What feedback format did the InstructGPT paper collect to train its reward model?
   • A guaranteed correctness label for every possible answer
   • Human rankings of several model responses, converted into pairwise preferences
   • A single sentiment score for each training prompt
   • Only binary safety labels with no response comparisons
3. আদর্শ পুরস্কার-মডেল ক্ষতি অপ্টিমাইজ করে কি?
   • প্রতিটি প্রতিক্রিয়ার পরম পুরস্কার মান
   • পরবর্তী টোকেন ভবিষ্যদ্বাণীর যথার্থতা
   • যে নির্বাচিত প্রতিক্রিয়া প্রত্যাখ্যানের চেয়ে বেশি স্কোর করে
   • প্রতিক্রিয়ার দৈর্ঘ্য
4. 'পুরস্কার হ্যাকিং' কি?
   • প্রতিযোগীর পুরস্কারের মডেল চুরি করা
   • প্রশিক্ষণের গতি বাড়ানোর একটি পদ্ধতি
   • পুরষ্কার সংকেত এনক্রিপ্ট করা হচ্ছে
   • প্রকৃত গুণমান ছাড়াই উচ্চ স্কোর পেতে পুরষ্কার মডেলের ত্রুটিগুলিকে কাজে লাগিয়ে নীতি
5. কিভাবে একটি পুরস্কার মডেল স্থাপত্য একটি ভাষা মডেল থেকে উদ্ভূত হয়?
   • একটি একক স্কেলার আউটপুট হেড দিয়ে টোকেন-প্রেডিকশন হেড প্রতিস্থাপন করে
   • আরো মনোযোগ স্তর যোগ করে
   • সমস্ত ট্রান্সফরমার স্তর অপসারণ করে
   • শব্দভান্ডার দ্বিগুণ করে
6. সেরা-অফ-এন স্যাম্পলিং-এ অনুমানের সময়ে একটি পুরষ্কার মডেল কীভাবে ব্যবহৃত হয়?
   • সমান্তরালভাবে এন পুরষ্কার মডেল প্রশিক্ষণ
   • একাধিক প্রতিক্রিয়া তৈরি করা এবং সর্বোচ্চ স্কোরিং একটি বাছাই করতে পুরস্কার মডেল ব্যবহার করা
   • N সবচেয়ে সাধারণ টোকেন নির্বাচন করা
   • গড় N মডেল চেকপয়েন্ট
7. Why might an RLHF study use an ensemble of reward models during training?
   • To guarantee that reward hacking is impossible
   • To replace the human preference data with exact correctness labels
   • To estimate disagreement or uncertainty across learned preference scorers
   • To ensure every candidate receives the same score
8. Why should reward-model evaluations include held-out comparisons?
   • To ensure training comparisons are never used
   • To make every output identical
   • To guarantee the reward is unbiased
   • To test whether preferences generalize beyond the training comparisons