পুরস্কার মডেলিং

It is the scoring engine that makes reinforcement learning from human feedback possible at scale.

পুরষ্কার মডেলিং একটি ব্যবহারিক সমস্যার সমাধান করে: প্রশিক্ষণের সময় একটি মডেল তৈরি করা লক্ষ লক্ষ আউটপুটের প্রত্যেকটিকে মানুষ রেট দিতে পারে না। পরিবর্তে, লেবেলাররা প্রতিক্রিয়াগুলির একটি ছোট সেট তুলনা করে, সাধারণত একই প্রম্পটে দুটি উত্তরের মধ্যে কোনটি ভাল তা বেছে নেয়। একটি পুরষ্কার মডেল তারপর যে কোনো প্রম্পট-প্রতিক্রিয়া জোড়ার জন্য একটি একক স্কেলার স্কোর আউটপুট করার জন্য এই তুলনাগুলিতে প্রশিক্ষণ দেওয়া হয়। প্রমিত প্রশিক্ষণের উদ্দেশ্য হল ব্র্যাডলি-টেরি মডেল, যা জোড়ার মত পছন্দগুলিকে এমন সম্ভাবনায় পরিণত করে যে একটি প্রতিক্রিয়া অন্যটিকে ছাড়িয়ে যায়। একবার প্রশিক্ষিত হলে, এই পুরষ্কার মডেলটি সস্তায় সীমাহীন নতুন আউটপুট মূল্যায়ন করতে পারে, যে সংকেত প্রদান করে যে PPO-এর মতো অ্যালগরিদম ভাষা মডেল উন্নত করতে ব্যবহার করে। পুরষ্কার মডেলগুলিও সেরা-অফ-এন স্যাম্পলিংয়ের জন্য অনুমান করার সময় পুনরায় ব্যবহার করা হয়, যেখানে অনেক প্রার্থী তৈরি হয় এবং সর্বোচ্চ-স্কোরকারীকে ফেরত দেওয়া হয়।