अस्वीकृति नमूनाकरण फ़ाइन-ट्यूनिंग प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
   • कई उम्मीदवार उत्तर तैयार करें, सर्वोत्तम स्कोरिंग वाले उत्तर रखें और उन पर पुनः प्रशिक्षण लें
   • सबसे खराब प्रदर्शन करने वाली मॉडल परतें हटाएं
   • सभी प्रशिक्षण डेटा को अस्वीकार करें और फिर से शुरू करें
   • एक बार नमूना लें और हमेशा आउटपुट स्वीकार करें
2. गणित या कोड जैसे सत्यापन योग्य डोमेन में, पुरस्कार के रूप में क्या काम आ सकता है?
   • केवल एक सीखा हुआ इनाम मॉडल
   • क्या उत्तर सही है या परीक्षण पास हो गए हैं
   • प्रतिक्रिया की लंबाई
   • उत्पन्न टोकन की संख्या
3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
   • GPT-4o
   • BERT Base
   • Meta’s Llama 2-Chat
   • Whisper Large
4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
   • It never needs a candidate generator or scoring rule
   • It guarantees no reward hacking
   • It always requires less compute than every RL method
   • It can use supervised learning on selected generations instead of updating through policy-gradient RL
5. अधिकतम-इनाम नमूनों पर प्रशिक्षण प्रभावी ढंग से क्या करता है?
   • मॉडल के एकल-नमूना आउटपुट में सर्वोत्तम-एन-गुणवत्ता को डिस्टिल करता है
   • शब्दावली का आकार बढ़ता है
   • पाठ उत्पन्न करने की मॉडल की क्षमता को हटा देता है
   • पैरामीटर गिनती दोगुनी हो जाती है
6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
   • केवल मॉडल पैरामीटरों की संख्या
   • Output diversity alongside held-out correctness
   • Whether every answer uses the same wording
   • Only the training loss on selected samples
7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
   • It can only be used with image labels
   • It always changes the tokenizer
   • It cannot train on a high-quality answer that was never generated or retained
   • It makes the scoring function unnecessary
8. What risk arises if the scoring model used to filter candidates is flawed?
   • The policy becomes unable to generate any text
   • The tokenizer automatically changes vocabulary
   • The reference labels become unnecessary
   • The policy may learn to exploit the scorer rather than improve the intended quality