دليل الأساسيات
نموذج مكافأة برادلي تيري
يعد نموذج برادلي-تيري طريقة إحصائية عمرها قرن من الزمان لتحويل المقارنات الزوجية (أ يدق ب) إلى درجات رقمية.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.
الغوص العميق
يفترض برادلي تيري، الذي تم تقديمه في عام 1952، أن كل عنصر لديه درجة قوة مخفية، واحتمال أن يتفوق العنصر "أ" على العنصر "ب" هو الوظيفة اللوجستية لفارق درجاتهم. في محاذاة الذكاء الاصطناعي، يتم تعيين هذا بدقة على بيانات التفضيل: يرى واضعو العلامات البشرية استجابتين نموذجيتين ويختاران الأفضل، بدلاً من إعطاء تقييمات مطلقة يصعب معايرتها. يتم تدريب نموذج المكافأة، وهو عادةً نموذج اللغة ذو رأس الإخراج العددي، بحيث تحصل الاستجابة التي يفضلها البشر على مكافأة عددية أعلى. الخسارة هي الاحتمالية اللوغاريتمية السلبية لاحتمالية برادلي-تيري: تعظيم اللوغاريتم السيني لـ (مكافأة المختار ناقص مكافأة المرفوضة). يقوم نموذج المكافأة الناتج بعد ذلك بتسجيل مخرجات عشوائية، مما يوفر إشارة مفادها أن خوارزميات التعلم المعزز مثل PPO تعمل على تحسينها لجعل النماذج أكثر فائدة ومواءمة.
التنفيذ في العالم الحقيقي
تدريب نموذج المكافأة في RLHF الذي يصنف استجابتين لروبوتات الدردشة ويغذي الإشارة الأفضل والأسوأ لضبط PPO.
يقوم تحسين التفضيل المباشر بضبط النموذج مباشرة على أزواج الإجابات المختارة مقابل المرفوضة باستخدام فقدان السجل السيني لبرادلي-تيري.
ترتيب لاعبي الشطرنج أو الرياضات الإلكترونية عبر Elo، وهو رياضيًا قريب من نموذج برادلي-تيري فيما يتعلق بنتائج اللعبة.
إنشاء تصنيف لتوصيات المحتوى من خلال بيانات النقر "المستخدمون الذين يفضلون A على B" بدلاً من تقييمات النجوم المطلقة.
مستقبل نمذجة مكافأة برادلي تيري
يفترض برادلي تيري تصنيفًا واحدًا ثابتًا وتفضيلات متعدية، والتي تنهار عندما يختلف البشر أو تدور التفضيلات. تتجه الأبحاث نحو النماذج التي تلتقط توزيعات التفضيلات، والمكافآت متعددة الأبعاد (المساعدة، والسلامة، والصدق بشكل منفصل)، وأساليب مثل تعلم ناش من ردود الفعل البشرية التي تسقط افتراض النتيجة الواحدة. يقوم DPO وأشكاله المختلفة بشكل متزايد بدمج هدف برادلي-تيري مباشرة في التدريب على السياسات. توقع مخططات مقارنة أكثر ثراءً، بما في ذلك تصنيفات أكثر من عنصرين وتفضيلات مرجحة بالثقة، لتقليل اختراق المكافآت.
وضعها موضع التنفيذ
لماذا يهم
- قرارات أوضح. يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
- التكلفة والميزانية. يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
- الفريق وسير العمل. تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
احترس من
- قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
- يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
- غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
الخطوات التالية
- ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
- اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
- قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
- قم بتوثيق المجالات التي تساعد فيها نماذج مكافآت برادلي-تيري والأماكن الأبسط التي تكون فيها الطرق أفضل.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Bradley-Terry Reward Modeling quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Bradley-Terry Reward Modeling?
يعد نموذج برادلي-تيري طريقة إحصائية عمرها قرن من الزمان لتحويل المقارنات الزوجية (أ يدق ب) إلى درجات رقمية. في الذكاء الاصطناعي الحديث، يتم تشغيل نماذج المكافأة التي تتعلم التفضيلات البشرية من خلال "أي إجابة أفضل؟" التسميات، العمود الفقري لـ RLHF.
ما الذي يحوله نموذج برادلي-تيري إلى درجات رقمية؟
يأخذ برادلي تيري مقارنات زوجية "أ يتفوق على ب" ويستنتج درجة قوة مخفية لكل عنصر، وهذا هو السبب في أنه يناسب تصنيف التفضيلات البشرية بشكل جيد.
في برادلي تيري، احتمال أن يتغلب A على B هو دالة على ماذا؟
يقوم النموذج بتعيين P(A يدق B) مساوية للفرق اللوجستي (السيني) بين درجات القوة المخفية لـ A وB.
لماذا لا يمكن تحديد مكافآت برادلي-تيري إلا من خلال ثابت إضافي؟
تستخدم خسارة التدريب فقط الفرق بين المكافآت المختارة والمرفوضة، لذا فإن تحويل جميع الدرجات بنفس الثابت يترك الخسارة دون تغيير؛ المقياس المطلق تعسفي.
ما هي الخسارة القياسية لمقارنة التفضيلات الفردية في نموذج المكافآت؟
يقلل احتمال السجل السلبي لبرادلي-تيري إلى ناقص السجل السيني لفارق المكافأة المختارة ناقص الرفض المرفوض، مما يدفع مكافأة الاستجابة المختارة إلى الأعلى.
ما هي الطريقة التي تتخطى نموذج المكافأة المنفصل من خلال تحسين هدف برادلي-تيري مباشرة على السياسة؟
يقوم DPO بإعادة صياغة هدف تفضيل Bradley-Terry بحيث يمكن تطبيقه مباشرة على نموذج السياسة، مما يزيل الحاجة إلى التدريب والاستعلام عن نموذج مكافأة مستقل.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع