نمذجة المكافأة

It is the scoring engine that makes reinforcement learning from human feedback possible at scale.

تعمل نمذجة المكافآت على حل مشكلة عملية: لا يستطيع البشر تقييم كل واحد من ملايين المخرجات التي يولدها النموذج أثناء التدريب. وبدلاً من ذلك، يقوم القائمون على التصنيف بمقارنة مجموعة صغيرة من الاستجابات، وعادةً ما يختارون أي إجابتين لنفس الموجه هو الأفضل. يتم بعد ذلك تدريب نموذج المكافأة على هذه المقارنات لإخراج درجة عددية واحدة لأي زوج استجابة سريعة. الهدف التدريبي القياسي هو نموذج برادلي-تيري، الذي يحول التفضيلات الزوجية إلى احتمالية أن تتفوق إحدى الاستجابات على الأخرى. بمجرد التدريب، يمكن لنموذج المكافأة هذا تقييم مخرجات جديدة غير محدودة بتكلفة زهيدة، مما يوفر الإشارة التي تستخدمها الخوارزميات مثل PPO لتحسين نموذج اللغة. يتم أيضًا إعادة استخدام نماذج المكافأة في وقت الاستدلال لأخذ العينات الأفضل من N، حيث يتم إنشاء العديد من المرشحين وإرجاع المرشح الذي حصل على أعلى الدرجات.