دليل اللغة AI
رفض أخذ العينات صقل
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
الغوص العميق
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
التنفيذ في العالم الحقيقي
محاذاة نماذج نمط اللاما عن طريق أخذ عينات من الإجابات المتعددة لكل موجه، والحفاظ على أعلى درجات نموذج المكافأة، ثم SFT على تلك الإجابات
تحسين حل الرياضيات من خلال إنشاء العديد من الحلول والاحتفاظ فقط بتلك التي تصل إلى الإجابة الصحيحة والقابلة للتحقق
إنشاء التعليمات البرمجية حيث يتم الاحتفاظ بالمرشحين فقط في حالة اجتيازهم اختبارات الوحدة، ثم يتم استخدامها كبيانات تدريب
بناء مجموعات بيانات تعليمات تركيبية عن طريق تصفية أفضل الاستجابات الذاتية للنموذج لجولة التدريب التالية
مستقبل الضبط الدقيق لأخذ عينات الرفض
يعد RFT أمرًا أساسيًا في مرحلة ما بعد التدريب الحديثة، وغالبًا ما يستخدم قبل أو بجانب أساليب RL مثل PPO وDPO. وتزداد جاذبيتها مع الاستدلال الرخيص وأدوات التحقق التلقائية القوية: مع تحسن النماذج في التوليد الذاتي والتحقق الذاتي، تدعم عينات الرفض المتكررة البيانات الاصطناعية وحلقات التحسين الذاتي. توقع تكاملًا أكثر إحكامًا مع نماذج الاستدلال التي تنتج سلاسل فكرية يمكن التحقق منها، ودراسة مستمرة لكيفية تجنب اختراق المكافآت وانهيار التنوع عند التدريب المتكرر على مخرجات النموذج نفسه.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
- الوصول والوصول. فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
- قرارات أوضح. يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
احترس من
- يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
- يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
- قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
الخطوات التالية
- حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
- استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
- احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
- تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Rejection Sampling Fine-Tuning quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Rejection Sampling Fine-Tuning?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
ما هي الحلقة التي تصف بشكل أفضل كيفية تحسين الضبط الدقيق لأخذ عينات الرفض للنموذج؟
يقوم RFT باختبار استجابات متعددة، وتصفية الاستجابات ذات أعلى الدرجات، وضبط النموذج على هؤلاء الفائزين.
في المجالات التي يمكن التحقق منها مثل الرياضيات أو التعليمات البرمجية، ما الذي يمكن أن يكون بمثابة المكافأة؟
بالنسبة للمهام القابلة للتحقق، يمكن لـ RFT استخدام الصحة الدقيقة أو اجتياز اختبارات الوحدة، وتجنب نموذج المكافأة المكتسب.
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
ماذا يفعل التدريب على عينات الحد الأقصى للمكافأة بشكل فعال؟
ومن خلال التعلم من الاستجابات التي تمت تصفيتها، يستوعب النموذج سلوكًا عالي الجودة في جيل واحد.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع