دليل اللغة AI
نمذجة المكافأة
يُحوِّل نموذج المكافأة الاستعلام والاستجابة إلى درجة رقمية (سكالر) تهدف إلى تقريب التفضيل أو هدف آخر.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه وكيل (proxy) متعلم، وليس مقياسًا مباشرًا للقيم البشرية.
الغوص العميق
في خطوط الأنابيب بنمط RLHF، يُدرَّب نموذج المكافأة غالبًا على مقارنات بشرية لمخرجات النموذج. يشجع خسارة التفضيل الزوجية (pairwise preference loss) على أن تحصل الاستجابة المفضلة على درجة أعلى من الاستجابة المرفوضة. عند الاستدلال (inference)، قد يقوم best-of-N بعينة الاستجابات واختيار المرشح الأعلى درجة. يمكن أن يؤدي تحسين الوكيل إلى اختراق المكافأة (reward hacking) عندما تكون الدرجة غير مثالية. جمع InstructGPT ترتيبات بشرية لأربعة إلى تسعة مخرجات نموذجية لاستعلام محدد، وحول تلك الترتيبات إلى تفضيلات زوجية لتدريب نموذج المكافأة. يحوِّل نموذج التفضيل الشائع Bradley–Terry الفروق بين درجات الاستجابة الرقمية إلى احتمالات تفضيل، وتدرّب الخسارة الزوجية الاستجابات المفضلة للحصول على درجات أعلى. يستخدم تنفيذ نموذج المكافأة الشائع رأس تسلسل رقمي (scalar sequence-scoring head)، على الرغم من أن البنى المعمارية تختلف. قد تكشف المجموعات (ensembles) عن عدم اتفاق المقيِّمين، لكنها لا تستطيع إزالة أخطاء النموذج المشتركة أو ضمان عدم حدوث اختراق المكافأة.
التنفيذ في العالم الحقيقي
تدريب من خلال الترتيبات الزوجية للاستجابات.
استخدام الدرجات لترتيب الاستجابات المرشحة في اختيار الأفضل من بين N (best-of-N).
اختبار تنبؤات المكافأة على مقارنات محجوزة (held-out).
افحص المخرجات التي تحصل على درجات عالية لكنها تنتهك السلوك المقصود.
مستقبل نمذجة المكافأة
تظل نماذج المكافأة مكونات مفيدة في بعض خطوط أنابيب المحاذاة (alignment)، لكنها تتطلب تقييمًا مستمرًا وإجراءات وقائية ضد تحسين السلوكيات غير المقصودة.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
- الوصول والوصول. فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
- قرارات أوضح. يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
احترس من
- يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
- يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
- قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
الخطوات التالية
- حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
- استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
- احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
- تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
أكمل اختبار نمذجة المكافأة
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي نمذجة المكافأة؟
يُحوِّل نموذج المكافأة الاستعلام والاستجابة إلى درجة رقمية (سكالر) تهدف إلى تقريب التفضيل أو هدف آخر. إنه وكيل (proxy) متعلم، وليس مقياسًا مباشرًا للقيم البشرية.
ما هو الناتج الأساسي لنموذج المكافأة لزوج استجابة سريعة معين؟
يقوم نموذج المكافأة بتعيين موجه واستجابة لرقم عددي واحد يمثل الجودة المتوقعة أو التفضيل البشري.
ما هو صيغة الملاحظات التي جمعها ورقة InstructGPT لتدريب نموذج المكافأة الخاص بها؟
رتب مُسمِّو InstructGPT مجموعات من أربعة إلى تسعة مخرجات نموذجية لاستعلام محدد؛ وتم تحويل هذه الترتيبات إلى مقارنات زوجية لتدريب نموذج المكافأة. هذا محدد لإجراء تلك الورقة.
ما الذي يتم تحسينه من خلال خسارة نموذج المكافأة القياسية؟
في نموذج Bradley–Terry، تُحدد فروق الدرجات الرقمية احتمالية تفضيل استجابة على أخرى، وتدرّب الخسارة الزوجية الدرجات وفقًا لذلك. هذه الدرجات ليست مقاييس معايرة تلقائية للجودة.
ما هو "قرصنة المكافأة"؟
يحدث اختراق المكافأة عندما يجد النموذج اختصارات (مثل الطول المفرط أو الإطراء) التي يقدرها نموذج المكافأة غير المثالي بدرجة عالية ولكن البشر لا يفعلون ذلك.
كيف يتم اشتقاق نموذج المكافأة معماريا من نموذج اللغة؟
في إعداد نموذج المكافأة الشائع، يُكيَّف هيكل نموذج اللغة (backbone) برأس تقييم رقمي (scalar scoring head) ينتج درجة واحدة لتسلسل الاستعلام-الاستجابة. هذا يصف ذلك الإعداد، وليس كل بنية معمارية لنماذج المكافأة.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع