ΕπόμενοΕπόμενος οδηγός
Μοντελοποίηση επιβράβευσης
Γλώσσα AI
ΟΔΗΓΟΣ Βασικών Αρχών
Bradley-Terry Reward Modeling
Το μοντέλο Bradley-Terry είναι μια στατιστική μέθοδος αιώνων για τη μετατροπή των συγκρίσεων κατά ζεύγη (το Α κερδίζει το Β) σε αριθμητικές βαθμολογίες.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Στη σύγχρονη τεχνητή νοημοσύνη ενεργοποιεί μοντέλα ανταμοιβής που μαθαίνουν τις ανθρώπινες προτιμήσεις από το «ποια απάντηση είναι καλύτερη;» ετικέτες, η ραχοκοκαλιά του RLHF.
Βαθιά κατάδυση
Ο Bradley-Terry, που εισήχθη το 1952, υποθέτει ότι κάθε στοιχείο έχει μια κρυφή βαθμολογία δύναμης και η πιθανότητα ότι το στοιχείο Α ξεπερνά το στοιχείο Β είναι η λογιστική συνάρτηση της διαφοράς βαθμολογίας τους. Στην ευθυγράμμιση τεχνητής νοημοσύνης, αυτό αντιστοιχίζεται προσεκτικά σε δεδομένα προτιμήσεων: οι άνθρωποι που σημαίνουν ετικέτες βλέπουν δύο αποκρίσεις μοντέλων και επιλέγουν το καλύτερο, αντί να δίνουν απόλυτες βαθμολογίες που είναι δύσκολο να βαθμονομηθούν. Ένα μοντέλο ανταμοιβής, συνήθως το μοντέλο γλώσσας με βαθμωτή κεφαλή εξόδου, εκπαιδεύεται έτσι ώστε η απόκριση που προτιμούν οι άνθρωποι να λαμβάνει υψηλότερη κλιμακωτή ανταμοιβή. Η απώλεια είναι η αρνητική λογαριθμική πιθανότητα της πιθανότητας Bradley-Terry: μεγιστοποιήστε το λογαριθμικό σιγμοειδές του (ανταμοιβή της επιλεγμένης μείον την ανταμοιβή της απόρριψης). Το προκύπτον μοντέλο ανταμοιβής βαθμολογεί στη συνέχεια αυθαίρετες εξόδους, παρέχοντας το σήμα με το οποίο βελτιστοποιούνται οι αλγόριθμοι μάθησης ενίσχυσης όπως το PPO για να κάνουν τα μοντέλα πιο χρήσιμα και ευθυγραμμισμένα.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση του μοντέλου ανταμοιβής στο RLHF που κατατάσσει δύο αποκρίσεις chatbot και τροφοδοτεί το σήμα καλύτερου χειρότερου στη λεπτομέρεια PPO.
Η Βελτιστοποίηση Άμεσης Προτίμησης τελειοποιεί ένα μοντέλο απευθείας σε ζεύγη απαντήσεων επιλεγμένων έναντι απορριφθέντων χρησιμοποιώντας την απώλεια λογαριθμικού σιγμοειδούς Bradley-Terry.
Κατάταξη παικτών σκακιού ή esports μέσω του Elo, το οποίο είναι μαθηματικά στενός ξάδερφος του μοντέλου Bradley-Terry στα αποτελέσματα των αγώνων.
Δημιουργία κατάταξης προτάσεων περιεχομένου από δεδομένα κλικ «οι χρήστες προτιμούν Α έναντι Β» αντί για απόλυτες βαθμολογίες με αστέρια.
Το μέλλον του Bradley-Terry Reward Modeling
Ο Bradley-Terry υποθέτει μια ενιαία σταθερή κατάταξη και μεταβατικές προτιμήσεις, οι οποίες καταρρέουν όταν οι άνθρωποι διαφωνούν ή οι προτιμήσεις κάνουν κύκλο. Η έρευνα κινείται προς μοντέλα που συλλαμβάνουν κατανομές προτιμήσεων, πολυδιάστατες ανταμοιβές (εξυπηρέτηση, ασφάλεια, ειλικρίνεια βαθμολογούνται ξεχωριστά) και μεθόδους όπως ο Nash που μαθαίνει από την ανθρώπινη ανατροφοδότηση που απορρίπτουν την υπόθεση της μοναδικής βαθμολογίας. Ο DPO και οι παραλλαγές του αναδιπλώνουν όλο και περισσότερο τον στόχο Bradley-Terry απευθείας στην κατάρτιση πολιτικής. Αναμένετε πλουσιότερα συστήματα σύγκρισης, συμπεριλαμβανομένων κατάταξης περισσότερων από δύο στοιχείων και σταθμισμένων προτιμήσεων εμπιστοσύνης, για να μειώσετε το hacking με ανταμοιβή.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Σαφέστερες αποφάσεις. Σας βοηθά να διαχωρίσετε σαφείς τεχνικούς ισχυρισμούς από τη γλώσσα μάρκετινγκ.
- Κόστος και προϋπολογισμός. Μπορείτε να κάνετε καλύτερες ερωτήσεις εφαρμογής προτού ξοδέψετε χρήματα ή χρόνο.
- Ομάδα και ροή εργασίας. Οι ομάδες με κοινή κατανόηση λαμβάνουν καλύτερες αποφάσεις για προϊόντα, πολιτικές και μάθηση.
Προσέξτε
- Διαφορετικές ομάδες μπορεί να χρησιμοποιούν τον ίδιο όρο με διαφορετικό τρόπο, επομένως ορίστε το πεδίο εφαρμογής νωρίς.
- Τα σημεία αναφοράς μπορεί να φαίνονται ισχυρά ενώ η απόδοση στον πραγματικό κόσμο είναι άνιση.
- Η αγνόηση της ποιότητας των δεδομένων και των σχεδίων αξιολόγησης δημιουργεί συχνά εύθραυστα αποτελέσματα.
Επόμενα βήματα
- Ξεκινήστε με έναν ορισμό σε απλή γλώσσα του αποτελέσματος που χρειάζεστε.
- Επιλέξτε μία μέτρηση επιτυχίας και μία συνθήκη αποτυχίας πριν από τη δοκιμή.
- Εκτελέστε ένα μικρό πιλότο με αντιπροσωπευτικά δεδομένα, όχι ένα εκλεπτυσμένο σετ επίδειξης.
- Τεκμηριώστε πού βοηθά το Bradley-Terry Reward Modeling και πού είναι καλύτερες οι απλούστερες μέθοδοι.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Bradley-Terry Reward Modeling quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το Bradley-Terry Reward Modeling;
Το μοντέλο Bradley-Terry είναι μια στατιστική μέθοδος αιώνων για τη μετατροπή των συγκρίσεων κατά ζεύγη (το Α κερδίζει το Β) σε αριθμητικές βαθμολογίες. Στη σύγχρονη τεχνητή νοημοσύνη ενεργοποιεί μοντέλα ανταμοιβής που μαθαίνουν τις ανθρώπινες προτιμήσεις από το «ποια απάντηση είναι καλύτερη;» ετικέτες, η ραχοκοκαλιά του RLHF.
Τι μετατρέπει το μοντέλο Bradley-Terry σε αριθμητική βαθμολογία;
Ο Bradley-Terry λαμβάνει ανά δύο συγκρίσεις «A beats B» και συμπεραίνει μια κρυφή βαθμολογία αντοχής για κάθε στοιχείο, γι' αυτό ταιριάζει τόσο καλά στην ετικέτα ανθρώπινης προτίμησης.
Στο Bradley-Terry, η πιθανότητα το Α να νικήσει το Β είναι συνάρτηση τι;
Το μοντέλο θέτει το P(A beats B) ίσο με το λογιστικό (σιγμοειδές) της διαφοράς μεταξύ των βαθμολογιών κρυφής δύναμης του Α και του Β.
Γιατί οι ανταμοιβές Bradley-Terry είναι αναγνωρίσιμες μόνο μέχρι μια προσθετική σταθερά;
Η απώλεια προπόνησης χρησιμοποιεί μόνο τη διαφορά μεταξύ των επιλεγμένων και των απορριφθέντων ανταμοιβών, επομένως η μετατόπιση όλων των βαθμολογιών κατά την ίδια σταθερά αφήνει την απώλεια αμετάβλητη. η απόλυτη κλίμακα είναι αυθαίρετη.
Ποια είναι η τυπική απώλεια για μία σύγκριση προτιμήσεων στη μοντελοποίηση ανταμοιβής;
Η αρνητική λογαριθμική πιθανότητα του Bradley-Terry μειώνεται στο μείον λογαριθμικό σιγμοειδές της διαφοράς ανταμοιβής επιλεγμένο-μείον-απορρίφθηκε, ωθώντας την ανταμοιβή της επιλεγμένης απάντησης υψηλότερα.
Ποια μέθοδος παραλείπει ένα ξεχωριστό μοντέλο ανταμοιβής βελτιστοποιώντας τον στόχο Bradley-Terry απευθείας στην πολιτική;
Ο DPO επαναδιατυπώνει τον στόχο προτίμησης Bradley-Terry, ώστε να μπορεί να εφαρμοστεί απευθείας στο μοντέλο πολιτικής, καταργώντας την ανάγκη εκπαίδευσης και αναζήτησης ενός αυτόνομου μοντέλου ανταμοιβής.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα