সরাসরি পছন্দ অপ্টিমাইজেশান কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. প্রথাগত RLHF-এর তুলনায় DPO কী নির্মূল করে?
   • আলাদা পুরস্কার মডেল এবং শক্তিবৃদ্ধি শেখার লুপ
   • কোন মানুষের পছন্দ তথ্য জন্য প্রয়োজন
   • বেস pretrained ভাষা মডেল
   • লগ-সম্ভাবনার ব্যবহার
2. একটি একক ডিপিও প্রশিক্ষণ উদাহরণে কোন ডেটা থাকে?
   • একটি প্রম্পট এবং একটি সংখ্যাসূচক পুরস্কার স্কোর
   • একটি নির্বাচিত এবং একটি প্রত্যাখ্যাত প্রতিক্রিয়া সহ একটি প্রম্পট৷
   • একটি প্রম্পট এবং একটি একক সঠিক উত্তর
   • শুধুমাত্র একটি পুরস্কার মডেলের আউটপুট
3. ডিপিও-তে রেফারেন্স মডেল কী ভূমিকা পালন করে?
   • এটি প্রত্যাখ্যাত প্রতিক্রিয়া তৈরি করে
   • এটি স্পষ্ট পুরষ্কার সহ প্রতিক্রিয়া স্কোর করে
   • এটি হিমায়িত বেসলাইন যা নীতিটি প্রবাহ সীমাবদ্ধ করার বিরুদ্ধে পরিমাপ করা হয়
   • এটি প্রশিক্ষণ ডেটা প্রতিস্থাপন করে
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. ডিপিও-তে বিটা (তাপমাত্রা) প্যারামিটার কী নিয়ন্ত্রণ করে?
   • রেফারেন্স মডেলের কাছাকাছি নীতি কতটা দৃঢ়ভাবে রাখা হয়
   • অপ্টিমাইজারের শেখার হার
   • পছন্দের জোড়ার সংখ্যা
   • শব্দভান্ডারের আকার
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio