الدليل الفني
تعزيز التعلم من ردود الفعل البشرية
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
الغوص العميق
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
التنفيذ في العالم الحقيقي
ضبط مساعد الدردشة بحيث يرفض الطلبات الضارة ويقدم إجابات مفيدة ومنظمة بشكل جيد بدلاً من مجرد نص معقول.
ترتيب أزواج الملخصات حسب تفضيل الإنسان لتدريب نموذج يكتب ملخصات يجدها الأشخاص مفيدة بالفعل.
تقليل المخرجات السامة أو المتحيزة من خلال مكافأة الاستجابات التي يحكم عليها المقيِّمون البشريون بأنها محترمة وآمنة.
استخدام DPO في مجموعة بيانات للإجابات المفضلة مقابل الإجابات المرفوضة لمحاذاة نموذج مفتوح المصدر دون تشغيل حلقة PPO كاملة.
مستقبل التعلم المعزز من ردود الفعل البشرية
يتم تبسيط RLHF وأتمتته جزئيًا. يحل DPO وطرق التفضيل المباشر ذات الصلة محل خط أنابيب PPO الثقيل للعديد من الفرق، ويستخدم RLAIF ردود الفعل الناتجة عن الذكاء الاصطناعي (كما هو الحال في الذكاء الاصطناعي الدستوري) لخفض تكاليف وضع العلامات. تتناول الأبحاث قرصنة المكافأة، وتحيز المعلقين، وصعوبة الحكم على الإجابات الطويلة أو الاستجابات المتخصصة، باستخدام تقنيات مثل الإشراف على العملية والمناقشة. توقع أن يؤدي التوافق إلى مزج ردود الفعل البشرية والذكاء الاصطناعي، وإشارات مكافأة أكثر ثراءً تتجاوز مجرد إبهام واحد، وتدقيق متزايد لمن يقدم التفضيلات والقيم التي يشفرونها.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Reinforcement Learning From Human Feedback quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو التعلم المعزز من ردود الفعل البشرية؟
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
ما هو الغرض الرئيسي من RLHF لنموذج اللغة؟
يوجه RLHF نموذجًا نحو الاستجابات التي يفضلها البشر، مما يجعله أكثر فائدة وصدقًا وأمانًا وليس مجرد معقول.
ما الذي يتعلمه نموذج المكافأة في RLHF فعليًا؟
يتم تدريب نموذج المكافأة على مقارنات التفضيلات البشرية لتسجيل الاستجابات، وتوفير الإشارة التي تعمل السياسة على تحسينها.
What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
كيف يتم جمع بيانات التفضيل عادةً لنموذج المكافأة؟
يختار المفسرون الاستجابة المفضلة في المقارنات الزوجية، والتي تدرب نموذج المكافأة من خلال الخسارة على طريقة برادلي تيري.
ما هي الميزة التي يقدمها DPO (التحسين المباشر للتفضيلات) مقارنة بخط أنابيب RLHF الكلاسيكي؟
يستمد DPO الهدف مباشرة من التفضيلات، متجنبًا نموذج المكافأة المنفصل وخطوة التعلم المعززة.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع