تحسين تفضيلات نسبة الأرجحية

It matters because it skips the usual separate reward model and reference model, making alignment cheaper and simpler.

تجمع ORPO، التي قدمتها Hong وLee وThorne في عام 2024، بين الضبط الدقيق ومحاذاة التفضيلات الخاضعة للإشراف في خطوة واحدة. تقوم معظم خطوط أنابيب المحاذاة أولاً بإجراء SFT على الأمثلة الجيدة، ثم تقوم بتشغيل طريقة ثانية مثل RLHF أو DPO التي تتطلب نسخة مجمدة من النموذج (مرجع) بالإضافة إلى أزواج التفضيلات المخزنة. يقوم ORPO بإزالة النموذج المرجعي بالكامل. تضيف خسارتها عقوبة جزائية إلى هدف الرمز المميز التالي القياسي: فهي تزيد من الاحتمالات التي يعينها النموذج للاستجابة المختارة (المفضلة) بينما تقلل من احتمالات الاستجابة المرفوضة. نظرًا لأنه يستخدم نسبة الأرجحية بدلاً من فجوة احتمالية السجل القوية، فإن العقوبة لطيفة، لذلك يتعلم النموذج تفضيل الإجابات الجيدة دون نسيان التوليد بطلاقة بشكل كارثي.