গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং কুইজ
প্রার্থী তৈরি এবং ফিল্টারিং, যাচাইকারী-ভিত্তিক পুরস্কার, তত্ত্বাবধানে পুনঃপ্রশিক্ষণ এবং ত্রুটিপূর্ণ স্কোরারকে অপ্টিমাইজ করার ঝুঁকিগুলি কভার করে৷
প্রশ্ন 1 এর 8
কোন লুপ সর্বোত্তম বর্ণনা করে কিভাবে প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং একটি মডেলকে উন্নত করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- কোন লুপ সর্বোত্তম বর্ণনা করে কিভাবে প্রত্যাখ্যান স্যাম্পলিং ফাইন-টিউনিং একটি মডেলকে উন্নত করে?
- অনেক প্রার্থীর উত্তর তৈরি করুন, সেরা স্কোরিংগুলি রাখুন এবং তাদের উপর পুনরায় প্রশিক্ষণ দিন
- সবচেয়ে খারাপ-পারফর্মিং মডেল স্তরগুলি মুছুন
- সমস্ত প্রশিক্ষণ ডেটা প্রত্যাখ্যান করুন এবং আবার শুরু করুন
- একবার নমুনা এবং সর্বদা আউটপুট গ্রহণ করুন
- গণিত বা কোডের মতো যাচাইযোগ্য ডোমেনে, কী পুরস্কার হিসেবে কাজ করতে পারে?
- শুধুমাত্র একটি শেখা পুরস্কার মডেল
- উত্তর সঠিক হোক বা পরীক্ষায় পাস হোক
- প্রতিক্রিয়ার দৈর্ঘ্য
- উত্পন্ন টোকেন সংখ্যা
- Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
- GPT-4o
- BERT Base
- Meta’s Llama 2-Chat
- Whisper Large
- Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
- It never needs a candidate generator or scoring rule
- It guarantees no reward hacking
- It always requires less compute than every RL method
- It can use supervised learning on selected generations instead of updating through policy-gradient RL
- সর্বাধিক-পুরস্কারের নমুনার প্রশিক্ষণ কার্যকরভাবে কী করে?
- মডেলের একক-নমুনা আউটপুটগুলিতে সেরা-অফ-এন মানের ডিস্টিল করে
- শব্দভান্ডারের আকার বাড়ায়
- পাঠ্য তৈরি করার মডেলের ক্ষমতা সরিয়ে দেয়
- পরামিতি সংখ্যা দ্বিগুণ করে
- What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
- শুধুমাত্র মডেল পরামিতি সংখ্যা
- Output diversity alongside held-out correctness
- Whether every answer uses the same wording
- Only the training loss on selected samples
- What is a limitation of rejection-sampling fine-tuning’s candidate selection?
- It can only be used with image labels
- It always changes the tokenizer
- It cannot train on a high-quality answer that was never generated or retained
- It makes the scoring function unnecessary
- What risk arises if the scoring model used to filter candidates is flawed?
- The policy becomes unable to generate any text
- The tokenizer automatically changes vocabulary
- The reference labels become unnecessary
- The policy may learn to exploit the scorer rather than improve the intended quality