গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং কুইজ

প্রার্থী তৈরি এবং ফিল্টারিং, যাচাইকারী-ভিত্তিক পুরস্কার, তত্ত্বাবধানে পুনঃপ্রশিক্ষণ এবং ত্রুটিপূর্ণ স্কোরারকে অপ্টিমাইজ করার ঝুঁকিগুলি কভার করে৷

প্রশ্ন 1 এর 8

কোন লুপ সর্বোত্তম বর্ণনা করে কিভাবে প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং একটি মডেলকে উন্নত করে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. কোন লুপ সর্বোত্তম বর্ণনা করে কিভাবে প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং একটি মডেলকে উন্নত করে?
    • অনেক প্রার্থীর উত্তর তৈরি করুন, সেরা স্কোরিংগুলি রাখুন এবং তাদের উপর পুনরায় প্রশিক্ষণ দিন
    • সবচেয়ে খারাপ-পারফর্মিং মডেল স্তরগুলি মুছুন
    • সমস্ত প্রশিক্ষণ ডেটা প্রত্যাখ্যান করুন এবং আবার শুরু করুন
    • একবার নমুনা এবং সর্বদা আউটপুট গ্রহণ করুন
  2. গণিত বা কোডের মতো যাচাইযোগ্য ডোমেনে, কী পুরস্কার হিসেবে কাজ করতে পারে?
    • শুধুমাত্র একটি শেখা পুরস্কার মডেল
    • উত্তর সঠিক হোক বা পরীক্ষায় পাস হোক
    • প্রতিক্রিয়ার দৈর্ঘ্য
    • উত্পন্ন টোকেন সংখ্যা
  3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
    • GPT-4o
    • BERT Base
    • Meta’s Llama 2-Chat
    • Whisper Large
  4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
    • It never needs a candidate generator or scoring rule
    • It guarantees no reward hacking
    • It always requires less compute than every RL method
    • It can use supervised learning on selected generations instead of updating through policy-gradient RL
  5. সর্বাধিক-পুরস্কারের নমুনার প্রশিক্ষণ কার্যকরভাবে কী করে?
    • মডেলের একক-নমুনা আউটপুটগুলিতে সেরা-অফ-এন মানের ডিস্টিল করে
    • শব্দভান্ডারের আকার বাড়ায়
    • পাঠ্য তৈরি করার মডেলের ক্ষমতা সরিয়ে দেয়
    • পরামিতি সংখ্যা দ্বিগুণ করে
  6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
    • শুধুমাত্র মডেল পরামিতি সংখ্যা
    • Output diversity alongside held-out correctness
    • Whether every answer uses the same wording
    • Only the training loss on selected samples
  7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
    • It can only be used with image labels
    • It always changes the tokenizer
    • It cannot train on a high-quality answer that was never generated or retained
    • It makes the scoring function unnecessary
  8. What risk arises if the scoring model used to filter candidates is flawed?
    • The policy becomes unable to generate any text
    • The tokenizer automatically changes vocabulary
    • The reference labels become unnecessary
    • The policy may learn to exploit the scorer rather than improve the intended quality