মানবিক প্রতিক্রিয়া কুইজ থেকে শক্তিবৃদ্ধি শিক্ষা

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. একটি ভাষা মডেলের জন্য RLHF এর মূল উদ্দেশ্য কি?
   • সহায়কতা এবং নিরাপত্তার জন্য মানুষের পছন্দের সাথে এর আউটপুটগুলি সারিবদ্ধ করা
   • মডেলের পরামিতি সংখ্যা বাড়ানোর জন্য
   • দ্রুত অনুমানের জন্য মডেলটি সংকুচিত করতে
   • মডেলটিকে অন্য ভাষায় অনুবাদ করতে
2. RLHF-এ পুরস্কারের মডেল আসলে কী করতে শেখে?
   • ব্যবহারকারীদের চূড়ান্ত প্রতিক্রিয়া তৈরি করুন
   • প্রম্পটগুলিকে একটি পুরস্কারের মুদ্রায় অনুবাদ করুন
   • মানুষ কতটা প্রদত্ত প্রতিক্রিয়া পছন্দ করবে তা প্রতিফলিত করে একটি স্কেলার স্কোর বরাদ্দ করুন
   • মডেলের শেখার হার নির্ধারণ করুন
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. পুরস্কার মডেলের জন্য সাধারণত পছন্দের ডেটা কীভাবে সংগ্রহ করা হয়?
   • মানুষ স্ক্র্যাচ থেকে একেবারে নতুন উত্তর লেখে
   • মডেল তার নিজস্ব আত্মবিশ্বাস হার
   • র্যান্ডম লেবেল স্বয়ংক্রিয়ভাবে বরাদ্দ করা হয়
   • মানুষ একই প্রম্পটে দুটি মডেলের প্রতিক্রিয়া তুলনা করে এবং আরও ভাল একটি বেছে নেয়
5. ক্লাসিক RLHF পাইপলাইনে DPO (ডাইরেক্ট প্রেফারেন্স অপ্টিমাইজেশান) কোন সুবিধা দেয়?
   • এর জন্য কোনো ডেটার প্রয়োজন নেই
   • এটি গ্যারান্টি দেয় যে মডেলটি কখনই ভুল হতে পারে না
   • এটি একটি পৃথক পুরষ্কার মডেল এবং পিপিও লুপ এড়িয়ে, পছন্দের জোড়া থেকে সরাসরি নীতিটিকে অপ্টিমাইজ করে৷
   • এটি প্রাক-প্রশিক্ষণের প্রয়োজনীয়তা দূর করে
6. RLAIF এবং সাংবিধানিক AI-তে, অনেক প্রতিক্রিয়া কোথা থেকে আসে?
   • একটি AI মডেল থেকে প্রতিক্রিয়া তৈরি করা বা সমালোচনা করা, মানুষের লেবেলিং হ্রাস করা
   • শুধুমাত্র অর্থ প্রদান করা মানব টীকা থেকে
   • র্যান্ডম সংখ্যা জেনারেটর থেকে
   • মডেলের প্রিট্রেইনিং কর্পাস থেকে সরাসরি
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression