ریجیکشن سیمپلنگ فائن ٹیوننگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
   • امیدواروں کے بہت سے جوابات تیار کریں، بہترین اسکور کرنے والے کو رکھیں، اور ان پر دوبارہ تربیت کریں۔
   • بدترین کارکردگی کا مظاہرہ کرنے والی ماڈل پرتوں کو حذف کریں۔
   • تمام تربیتی ڈیٹا کو مسترد کریں اور دوبارہ شروع کریں۔
   • ایک بار نمونہ لیں اور ہمیشہ آؤٹ پٹ کو قبول کریں۔
2. ریاضی یا کوڈ جیسے قابل تصدیق ڈومینز میں، انعام کے طور پر کیا کام کر سکتا ہے؟
   • صرف ایک سیکھا ہوا انعام ماڈل
   • چاہے جواب درست ہو یا امتحان پاس
   • جواب کی لمبائی
   • پیدا کردہ ٹوکنز کی تعداد
3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
   • GPT-4o
   • BERT Base
   • Meta’s Llama 2-Chat
   • Whisper Large
4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
   • It never needs a candidate generator or scoring rule
   • It guarantees no reward hacking
   • It always requires less compute than every RL method
   • It can use supervised learning on selected generations instead of updating through policy-gradient RL
5. زیادہ سے زیادہ انعام کے نمونوں پر تربیت مؤثر طریقے سے کیا کرتی ہے؟
   • ماڈل کے سنگل سیمپل آؤٹ پٹس میں بہترین-آف-N کوالٹی ڈسٹل کرتا ہے۔
   • الفاظ کے حجم کو بڑھاتا ہے۔
   • ماڈل کی ٹیکسٹ بنانے کی صلاحیت کو ہٹاتا ہے۔
   • پیرامیٹر کی تعداد کو دوگنا کرتا ہے۔
6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
   • Only the number of model parameters
   • Output diversity alongside held-out correctness
   • Whether every answer uses the same wording
   • Only the training loss on selected samples
7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
   • It can only be used with image labels
   • It always changes the tokenizer
   • It cannot train on a high-quality answer that was never generated or retained
   • It makes the scoring function unnecessary
8. What risk arises if the scoring model used to filter candidates is flawed?
   • The policy becomes unable to generate any text
   • The tokenizer automatically changes vocabulary
   • The reference labels become unnecessary
   • The policy may learn to exploit the scorer rather than improve the intended quality