Μοντελοποίηση επιβράβευσης

It is the scoring engine that makes reinforcement learning from human feedback possible at scale.

Η μοντελοποίηση ανταμοιβής λύνει ένα πρακτικό πρόβλημα: οι άνθρωποι δεν μπορούν να βαθμολογήσουν κάθε ένα από τα εκατομμύρια αποτελέσματα που παράγει ένα μοντέλο κατά τη διάρκεια της εκπαίδευσης. Αντίθετα, οι υπεύθυνοι ετικετών συγκρίνουν ένα μικρό σύνολο απαντήσεων, επιλέγοντας συνήθως ποια από τις δύο απαντήσεις στην ίδια προτροπή είναι καλύτερη. Στη συνέχεια, ένα μοντέλο ανταμοιβής εκπαιδεύεται σε αυτές τις συγκρίσεις για να εξάγει μια μοναδική βαθμολογία για οποιοδήποτε ζεύγος άμεσης απόκρισης. Ο τυπικός στόχος εκπαίδευσης είναι το μοντέλο Bradley-Terry, το οποίο μετατρέπει τις προτιμήσεις ανά ζεύγη σε πιθανότητα η μία απάντηση να υπερβαίνει την άλλη. Μόλις εκπαιδευτεί, αυτό το μοντέλο ανταμοιβής μπορεί να αξιολογήσει φθηνά απεριόριστες νέες εξόδους, παρέχοντας το σήμα που χρησιμοποιούν αλγόριθμοι όπως το PPO για να βελτιώσουν το γλωσσικό μοντέλο. Τα μοντέλα ανταμοιβής επαναχρησιμοποιούνται επίσης κατά το χρόνο συμπερασμάτων για δειγματοληψία με το καλύτερο από το Ν, όπου δημιουργούνται πολλοί υποψήφιοι και επιστρέφεται αυτός με τη μεγαλύτερη βαθμολογία.