زبان AI گائیڈ
براہ راست ترجیحی اصلاح
Direct Preference Optimization (DPO) trains a language model from preference comparisons without the separate reward-model-plus-online-PPO loop used in a standard RLHF setup.
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
گہرا غوطہ
The DPO paper derives a preference-learning objective from a KL-constrained reward-maximization setup. Training examples include a prompt, preferred answer, and rejected answer. The method uses a reference policy in its objective and avoids fitting a separate reward model in the proposed pipeline. This does not mean DPO avoids all modeling assumptions or guarantees alignment. DPO optimizes pairwise preference comparisons using policy and reference log probabilities. Its implicit reward is beta times the policy/reference log-probability ratio, up to a prompt-dependent constant. KTO is a separate prospect-theoretic alignment objective that learns from binary desirable/undesirable feedback and should not be labeled a DPO variant.
حقیقی دنیا کا نفاذ
Train on prompts with preferred and rejected answers.
Compare a DPO experiment with a supervised baseline on a fixed evaluation set.
Track the reference model and beta settings for reproducibility.
Review learned behavior for regressions after preference tuning.
براہ راست ترجیحی اصلاح کا مستقبل
Preference-training methods continue to vary. Report data, reference, optimizer, and evaluation details rather than treating DPO as a complete safety method.
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- رفتار اور پیمانہ. زبان کے کام کے بہاؤ مستقل مزاجی کی قربانی کے بغیر تیزی سے آگے بڑھ سکتے ہیں۔
- رسائی اور رسائی. یہ زبانوں اور مواصلاتی طرزوں تک رسائی کو بڑھاتا ہے۔
- واضح فیصلے. ٹیمیں فیصلے پر زیادہ وقت گزار سکتی ہیں جبکہ آٹومیشن تکرار کو سنبھالتی ہے۔
پر نگاہ رکھیں
- گمراہ شدہ حقائق خاموشی سے رپورٹس، سپورٹ فلو، یا تحقیقی نتائج درج کر سکتے ہیں۔
- فوری حساسیت اسی طرح کی درخواستوں میں متضاد نتائج پیدا کر سکتی ہے۔
- اگر رسائی کے کنٹرول کمزور ہیں تو حساس ٹیکسٹ ڈیٹا کو بے نقاب کیا جا سکتا ہے۔
اگلے اقدامات
- رول آؤٹ سے پہلے آؤٹ پٹ فارمیٹ، ٹون اور معیار کے معیارات کی وضاحت کریں۔
- جب بھی درستگی اہمیت رکھتی ہے تو بھروسہ مند ذرائع کے ساتھ زمینی جوابات۔
- ہائی اسٹیک آؤٹ پٹس کے لیے ایک انسانی جائزہ چیک پوائنٹ رکھیں۔
- ناکامی کے نمونوں کو ٹریک کریں اور پرامپٹس یا ورک فلو کو باقاعدگی سے دوبارہ تربیت دیں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the Direct Preference Optimization quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
ڈائریکٹ پریفرنس آپٹیمائزیشن کیا ہے؟
Direct Preference Optimization (DPO) trains a language model from preference comparisons without the separate reward-model-plus-online-PPO loop used in a standard RLHF setup.
روایتی RLHF کے مقابلے ڈی پی او کیا ختم کرتا ہے؟
ڈی پی او کا بنیادی فائدہ واضح ریوارڈ ماڈل اور آر ایل سیمپلنگ لوپ کو ہٹانا ہے، پالیسی کو براہ راست ترجیحی جوڑوں پر بہتر بنانا ہے۔
ایک واحد DPO ٹریننگ مثال کس ڈیٹا پر مشتمل ہے؟
ڈی پی او ترجیحی جوڑوں پر تربیت دیتا ہے: ایک پرامپٹ جمع ایک ترجیحی ('منتخب') اور ایک ناپسندیدہ ('مسترد') جواب۔
ڈی پی او میں ریفرنس ماڈل کیا کردار ادا کرتا ہے؟
ایک منجمد حوالہ (عام طور پر SFT ماڈل) نقصان کو اینکر کرتا ہے۔ بیٹا پیرامیٹر کنٹرول کرتا ہے کہ تربیت یافتہ پالیسی اس سے کتنی دور جا سکتی ہے۔
How does the DPO loss use a labeled preference pair?
The DPO objective uses a preference pair and compares policy log-probability ratios against a reference policy. This describes the pairwise objective, while the implicit-reward interpretation is a related consequence.
ڈی پی او میں بیٹا (درجہ حرارت) پیرامیٹر کیا کنٹرول کرتا ہے؟
Beta مضمر KL رکاوٹ کو کنٹرول کرتا ہے: اعلی بیٹا پالیسی کو حوالہ کے قریب رکھتا ہے، کم بیٹا زیادہ انحراف کی اجازت دیتا ہے۔
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔