ΕπόμενοΕπόμενος οδηγός
Βελτιστοποίηση εγγύς πολιτικής
Γλώσσα AI
Τεχνικός ΟΔΗΓΟΣ
Βελτιστοποίηση σχετικής πολιτικής ομάδας
Το Group Relative Policy Optimization (GRPO) είναι μια μέθοδος ενίσχυσης εκμάθησης για τη βελτίωση των μοντέλων γλώσσας που κρίνει κάθε απάντηση έναντι μιας ομάδας αδελφών απαντήσεων στην ίδια προτροπή, εξαλείφοντας το ξεχωριστό δίκτυο τιμών που χρησιμοποιείται από το PPO.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Έγινε διάσημο ως το βασικό κόλπο εκπαίδευσης πίσω από τα μοντέλα συλλογισμού του DeepSeek.
Βαθιά κατάδυση
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση DeepSeek-R1 και DeepSeekMath για την παραγωγή συλλογισμών μακράς αλυσίδας σκέψης χρησιμοποιώντας ανταμοιβές ορθότητας βάσει κανόνων σε μαθηματικά προβλήματα
Μοντέλα δημιουργίας κώδικα λεπτής ρύθμισης όπου κάθε λύση δειγματοληψίας βαθμολογείται ανάλογα με το αν έχει περάσει τις δοκιμές μονάδας και η ομάδα κανονικοποιείται για να επιλέγει τους νικητές
Σωληνώσεις RLHF ανοιχτού κώδικα (π.χ. σε βιβλιοθήκες TRL και verl) που χρησιμοποιούν GRPO για την ευθυγράμμιση μοντέλων συνομιλίας χωρίς να πληρώνουν για ξεχωριστό δίκτυο αξίας
Βελτίωση της συμπεριφοράς παρακολούθησης οδηγιών ή ασφάλειας με δειγματοληψία πολλών απαντήσεων ανά προτροπή και επιβράβευση αυτών που ένα μοντέλο ανταμοιβής έχει υψηλότερα ποσοστά σε σχέση με τους συνομηλίκους του
Το μέλλον της βελτιστοποίησης σχετικής πολιτικής ομάδας
Το GRPO έχει γίνει γρήγορα μια προεπιλεγμένη συνταγή για την εκπαίδευση μοντέλων ανοιχτής συλλογιστικής και τα εργαστήρια επαναλαμβάνονται στα αδύνατα σημεία του. Οι ερευνητές διερευνούν επιδιορθώσεις για προκαταλήψεις μήκους και δυσκολίας (όπως το Dr. GRPO), κανονικοποίηση σε επίπεδο διακριτικού και όχι σε επίπεδο ακολουθίας και αφαιρώντας ή αναμορφώνοντας τον όρο KL. Αναμένετε αυστηρότερη ενσωμάτωση με επαληθεύσιμες ανταμοιβές (μαθηματικά, κώδικας, χρήση εργαλείων), καλύτερο χειρισμό αραιών σημάτων και υβρίδια που συνδυάζουν ομαδικές γραμμές βάσης με ελαφρούς κριτικούς για αντιπροσωπευτικές εργασίες πολλαπλών βημάτων.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Group Relative Policy Optimization quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η βελτιστοποίηση σχετικής πολιτικής ομάδας;
Το Group Relative Policy Optimization (GRPO) είναι μια μέθοδος ενίσχυσης εκμάθησης για τη βελτίωση των μοντέλων γλώσσας που κρίνει κάθε απάντηση έναντι μιας ομάδας αδελφών απαντήσεων στην ίδια προτροπή, εξαλείφοντας το ξεχωριστό δίκτυο τιμών που χρησιμοποιείται από το PPO. Έγινε διάσημο ως το βασικό εκπαιδευτικό κόλπο πίσω από τα συλλογιστικά μοντέλα του DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Πώς υπολογίζει το GRPO το πλεονέκτημα για μια δεδομένη ολοκλήρωση;
Το πλεονέκτημα κάθε ολοκλήρωσης είναι (ανταμοιβή - μέσος όρος ομάδας) / τυπική απόκλιση ομάδας, επομένως η ομάδα απαντήσεων στην ίδια προτροπή λειτουργεί ως γραμμή βάσης.
Ποια μοντέλα έκαναν γνωστό το GRPO;
Το GRPO εισήχθη και διαδόθηκε από το DeepSeek, κυρίως στο DeepSeekMath και ως η μηχανή RL πίσω από τα μοντέλα συλλογισμού DeepSeek-R1.
Τι ρόλο παίζει ο όρος απόκλισης KL στο GRPO;
Μια ποινή KL έναντι ενός μοντέλου αναφοράς (συνήθως του προ-RL) τακτοποιεί την εκπαίδευση, ώστε η πολιτική να βελτιώνεται χωρίς να καταρρέει ή να παρασύρεται σε εκφυλισμένες εκροές.
Γιατί το GRPO είναι ιδιαίτερα ελκυστικό για την εκπαίδευση μοντέλων συλλογισμού σε μαθηματικά ή κώδικα;
Η δειγματοληψία πολλών λύσεων και η βαθμολόγησή τους με αυτόματους ελέγχους ορθότητας συνδυάζεται καθαρά με τα ομαδικά πλεονεκτήματα του GRPO, χωρίς να χρειάζεται κριτική.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα