رفض أخذ العينات صقل

It matters because it offers much of RLHF's benefit using straightforward supervised learning instead of complex reinforcement learning.

يُعد الضبط الدقيق لأخذ عينات الرفض، والذي يطلق عليه أحيانًا الضبط الأفضل من بين N، مكونًا رئيسيًا في كيفية محاذاة نماذج مثل Llama 2 وLlama 3 من Meta. الوصفة بسيطة: لكل مطالبة، قم بعينة عدة استجابات (على سبيل المثال، 4 إلى 64) من النموذج الحالي، وسجل كل منها باستخدام نموذج مكافأة أو مدقق تلقائي، ثم تجاهل ("ارفض") جميع المخرجات باستثناء المخرجات ذات التصنيف الأعلى. تصبح العينات عالية الجودة الباقية مجموعة بيانات دقيقة جديدة خاضعة للإشراف، ويتم تدريب النموذج عليها مع فقدان الرمز المميز التالي. يؤدي تكرار هذه الحلقة بشكل متكرر إلى دفع النموذج نحو توليد إجابات أفضل من تلقاء نفسه. نظرًا لأن النموذج يتعلم من مخرجاته التي تمت تصفيتها، فإن RFT يتجنب عدم الاستقرار وضبط الصداع الخاص بتدرج السياسة RL مع الاستمرار في الاستفادة من إشارة المكافأة.