تکراری ڈی پی او اور آن لائن ترجیحی ٹیوننگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ڈی پی او روایتی RLHF (PPO) کی ضرورت سے کیا گریز کرتا ہے؟
   • ایک الگ واضح انعامی ماڈل کی تربیت
   • کوئی تربیتی ڈیٹا
   • نیورل نیٹ ورک کا استعمال
   • مکمل طور پر انسانی ترجیحات
2. تکراری (آن لائن) ڈی پی او ایک مقررہ ڈیٹاسیٹ پر ایک بار ڈی پی او چلانے سے بہتر کیوں ہے؟
   • اسے کسی ترجیحی لیبل کی ضرورت نہیں ہے۔
   • یہ ٹریننگ ڈیٹا کو آن پالیسی اور ماڈل میں تبدیلی کے ساتھ تازہ رکھتا ہے۔
   • یہ حوالہ ماڈل کو ہٹاتا ہے۔
   • یہ صرف تصاویر کے لیے کام کرتا ہے۔
3. ڈی پی او کے نقصان میں ریفرنس ماڈل کیا کردار ادا کرتا ہے؟
   • یہ حتمی صارف کی پیداوار پیدا کرتا ہے
   • یہ ترجیحات کو لیبل کرتا ہے۔
   • یہ انحراف کو کنٹرول کرتے ہوئے لاگ امکانی تناسب کے ذریعے پالیسی کو اینکر کرتا ہے۔
   • یہ ٹوکنائزر کی جگہ لے لیتا ہے۔
4. آن لائن ڈی پی او کے ایک ہی تکرار میں، عام ترتیب کیا ہے؟
   • ماڈل کو حذف کریں، پھر شروع سے دوبارہ تربیت دیں۔
   • نمونے لیے بغیر صرف پرانے ڈیٹا کو دوبارہ ریبل کریں۔
   • جوابات پر CNN کو تربیت دیں۔
   • نئے جوابات کے نمونے، جج کی ترجیحات، پھر ڈی پی او اپ ڈیٹ چلائیں۔
5. ڈی پی او میں بیٹا ہائپر پیرامیٹر کیا کنٹرول کرتا ہے؟
   • پالیسی ریفرنس ماڈل سے کتنی مضبوطی سے انحراف کرتی ہے۔
   • الفاظ کا حجم
   • GPUs کی تعداد
   • تصویر کی قرارداد
6. 'خود انعام یافتہ' تکراری DPO کے پیچھے ایک اہم خیال کیا ہے؟
   • ماڈل کبھی بھی کوئی ترجیحات استعمال نہیں کرتا ہے۔
   • ماڈل تربیتی ڈیٹا بنانے کے لیے اپنے ردعمل کے جوڑے تیار کرتا ہے اور ان کا فیصلہ کرتا ہے۔
   • انسانوں کو ہر ایک جوڑے کا لیبل لگانا چاہیے۔
   • یہ صرف بے ترتیب انعامات کا استعمال کرتا ہے۔
7. Who can label response preferences in an online DPO iteration?
   • Only the tokenizer
   • Only the reference policy’s embedding layer
   • Human raters or an AI judge such as a reward model
   • A discriminator that never sees responses
8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
   • Training no model parameters
   • Removing all evaluation from the pipeline
   • Storing every possible response in advance
   • Repeated response generation and preference labeling between updates