ΕπόμενοΕπόμενος οδηγός
Reinforcement Learning for Trading
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Βαθιά κατάδυση
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
Υλοποίηση σε πραγματικό κόσμο
Συντονίζοντας έναν βοηθό συνομιλίας ώστε να απορρίπτει επιβλαβή αιτήματα και να δίνει χρήσιμες, καλά δομημένες απαντήσεις και όχι απλώς εύλογο κείμενο.
Κατάταξη ζευγών περιλήψεων με βάση την ανθρώπινη προτίμηση για την εκπαίδευση ενός μοντέλου που γράφει περιλήψεις που οι άνθρωποι θεωρούν πραγματικά χρήσιμες.
Μείωση τοξικών ή προκατειλημμένων εκροών επιβραβεύοντας τις απαντήσεις που οι αξιολογητές κρίνουν ότι είναι σεβαστές και ασφαλείς.
Χρήση DPO σε ένα σύνολο δεδομένων προτιμώμενων απαντήσεων έναντι των απορριφθέντων απαντήσεων για την ευθυγράμμιση ενός μοντέλου ανοιχτού κώδικα χωρίς την εκτέλεση πλήρους βρόχου PPO.
Το Μέλλον της Ενισχυτικής Μάθησης από την Ανθρώπινη Ανατροφοδότηση
Το RLHF εκσυγχρονίζεται και εν μέρει αυτοματοποιείται. Το DPO και οι σχετικές μέθοδοι άμεσης προτίμησης αντικαθιστούν τον βαρύ αγωγό PPO για πολλές ομάδες και το RLAIF χρησιμοποιεί ανατροφοδότηση που δημιουργείται από την τεχνητή νοημοσύνη (όπως στο Constitutional AI) για να μειώσει το κόστος επισήμανσης. Η έρευνα αντιμετωπίζει το hacking ανταμοιβής, την προκατάληψη των σχολιαστών και τη δυσκολία να κρίνουμε μακροσκελείς ή ειδικές απαντήσεις, με τεχνικές όπως η επίβλεψη διαδικασίας και η συζήτηση. Αναμένετε ευθυγράμμιση για να συνδυάσει ανατροφοδότηση ανθρώπου και τεχνητής νοημοσύνης, πλουσιότερα σήματα ανταμοιβής πέρα από ένα μόνο αντίχειρα και αυξανόμενο έλεγχο του ποιος παρέχει τις προτιμήσεις και ποιες τιμές κωδικοποιούν.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Reinforcement Learning From Human Feedback quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η Ενισχυτική Μάθηση από την Ανθρώπινη Ανατροφοδότηση;
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Ποιος είναι ο κύριος σκοπός του RLHF για ένα γλωσσικό μοντέλο;
Το RLHF κατευθύνει ένα μοντέλο προς τις απαντήσεις που προτιμούν οι άνθρωποι, καθιστώντας το πιο χρήσιμο, ειλικρινές και ασφαλές παρά απλώς εύλογο.
Τι πραγματικά μαθαίνει να κάνει το μοντέλο ανταμοιβής στο RLHF;
Το μοντέλο ανταμοιβής εκπαιδεύεται στις συγκρίσεις ανθρώπινων προτιμήσεων για τη βαθμολογία απαντήσεων, παρέχοντας το σήμα έναντι του οποίου βελτιστοποιείται η πολιτική.
What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
Πώς συλλέγονται συνήθως τα δεδομένα προτιμήσεων για το μοντέλο ανταμοιβής;
Οι σχολιαστές επιλέγουν την προτιμώμενη απάντηση σε συγκρίσεις ανά ζεύγη, η οποία εκπαιδεύει το μοντέλο ανταμοιβής μέσω μιας απώλειας τύπου Bradley-Terry.
Τι πλεονέκτημα προσφέρει το DPO (Direct Preference Optimization) έναντι του κλασικού αγωγού RLHF;
Το DPO εξάγει τον στόχο απευθείας από τις προτιμήσεις, αποφεύγοντας το ξεχωριστό μοντέλο ανταμοιβής και το βήμα μάθησης άσκοπης ενίσχυσης.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα