ایک ماڈل جو ترجیحی سگنلز کی بنیاد پر آؤٹ پٹ اسکور کرتا ہے، جو اکثر RLHF پائپ لائنوں میں استعمال ہوتا ہے۔