انعامی ماڈلنگ

It is the scoring engine that makes reinforcement learning from human feedback possible at scale.

ریوارڈ ماڈلنگ ایک عملی مسئلہ حل کرتی ہے: انسان ٹریننگ کے دوران ماڈل کی طرف سے پیدا ہونے والے لاکھوں آؤٹ پٹ میں سے ہر ایک کی درجہ بندی نہیں کر سکتا۔ اس کے بجائے، لیبلرز جوابات کے ایک چھوٹے سے سیٹ کا موازنہ کرتے ہیں، عام طور پر یہ چنتے ہیں کہ ایک ہی پرامپٹ کے دو جوابات میں سے کون سا بہتر ہے۔ اس کے بعد انعامی ماڈل کو ان موازنہوں پر تربیت دی جاتی ہے تاکہ کسی بھی فوری جوابی جوڑے کے لیے واحد اسکیلر سکور حاصل کیا جا سکے۔ معیاری تربیت کا مقصد Bradley-Terry ماڈل ہے، جو جوڑے کی ترجیحات کو اس امکان میں بدل دیتا ہے کہ ایک جواب دوسرے کو پیچھے چھوڑ دیتا ہے۔ ایک بار تربیت حاصل کرنے کے بعد، یہ انعامی ماڈل سستے انداز میں لامحدود نئے آؤٹ پٹس کا اندازہ لگا سکتا ہے، یہ سگنل فراہم کرتا ہے کہ PPO جیسے الگورتھم زبان کے ماڈل کو بہتر بنانے کے لیے استعمال کرتے ہیں۔ ریوارڈ ماڈلز کو بھی بہترین کے N نمونے لینے کے لیے تخمینہ کے وقت دوبارہ استعمال کیا جاتا ہے، جہاں بہت سے امیدوار تیار ہوتے ہیں اور سب سے زیادہ اسکور کرنے والے کو واپس کیا جاتا ہے۔