Một mô hình chấm điểm đầu ra dựa trên các tín hiệu ưu tiên, thường được sử dụng trong đường ống RLHF.