براہ راست ترجیحی اصلاح

It collapses a complex multi-stage pipeline into a single, stable training loss.

2023 میں اسٹینفورڈ میں Rafailov اور ساتھیوں کے ذریعے متعارف کرایا گیا DPO، دوبارہ غور کرتا ہے کہ ہم کس طرح ایک ماڈل کو سکھاتے ہیں جسے لوگ ترجیح دیتے ہیں۔ روایتی نقطہ نظر (RLHF) انسانی موازنہ پر ایک انعامی ماڈل کی تربیت کرتا ہے، پھر اس انعام کو زیادہ سے زیادہ کرنے کے لیے کمک سیکھنے کا استعمال کرتا ہے۔ ڈی پی او کی کلیدی بصیرت ریاضیاتی ہے: اس RLHF مقصد کے تحت بہترین پالیسی کا انعام سے ایک بند شکل کا تعلق ہے، لہذا آپ مساوات کو دوبارہ ترتیب دے سکتے ہیں اور زبان کے ماڈل کو براہ راست ترجیحی جوڑوں پر بہتر بنا سکتے ہیں۔ آپ اسے ایک پرامپٹ دیتے ہیں، ایک 'منتخب' (ترجیحی) جواب، اور 'مسترد' جواب دیتے ہیں، اور ایک سادہ درجہ بندی کے طرز کا نقصان منتخب کردہ جواب کو نسبتاً زیادہ امکان بنانے کے لیے ماڈل کو دھکیل دیتا ہے۔ کوئی ریوارڈ ماڈل، کوئی سیمپلنگ لوپ، کوئی ریوارڈ ہیکنگ نہیں۔ یہ چلانے کے لیے کہیں زیادہ آسان اور زیادہ مستحکم ہے۔