Το RecurSE προτείνει περιορισμένη αυτοαξιολόγηση για κριτές LLM

Τι έγινε

Οι ερευνητές εισήγαγαν το RecurSE, μια μέθοδο για την αναδρομική βελτίωση των συστημάτων LLM-as-judge χωρίς εξωτερική επίβλεψη χρυσού στην ανταμοιβή ενίσχυσης-μάθησης. Η μέθοδος χρησιμοποιεί έναν εκπαιδεύσιμο κριτή, έναν συγχρονισμένο ελεγκτή και μια οθόνη επικύρωσης για τον περιορισμό και την αξιολόγηση της διαδικασίας.

Η εργασία παρουσιάζει το RecurSE, συντομογραφία του Recursive Self-Evaluation, ως μια περιορισμένη μορφή αναδρομικής αυτοβελτίωσης για συστήματα LLM-as-judge. Αυτά τα συστήματα αξιολογούν το ανοιχτό κείμενο, όπως τις απαντήσεις των υποψηφίων, σε σχέση με τις ρουμπρίκες και μπορούν επίσης να βοηθήσουν στην καθοδήγηση της μετά την εκπαίδευση. Οι ερευνητές πλαισιώνουν το κεντρικό πρόβλημα ως τη βελτίωση του ίδιου του κριτή χωρίς να βασίζονται σε εξωτερικές χρυσές ετικέτες, μοντέλα ανταμοιβής ή απόσταξη από έναν ισχυρότερο δάσκαλο. Ο προτεινόμενος βρόχος εκπαίδευσης χρησιμοποιεί αντίθετα την ικανότητα αξιολόγησης του ίδιου του μοντέλου για τη δημιουργία σημάτων εκμάθησης για βελτιστοποίηση. Η πηγή το περιγράφει ως προσέγγιση κλειστού βρόχου, αλλά δεν ισχυρίζεται ότι το μοντέλο βελτιώνεται χωρίς δομή αξιολόγησης ή εποπτεία. η μέθοδος περιλαμβάνει ρουμπρίκες, πούλι και διαδικασία επικύρωσης.

Το προτεινόμενο σύστημα έχει δύο περάσματα. Στο Πάσο 1, ένας δικαστής με δυνατότητα εκπαίδευσης αξιολογεί τις απαντήσεις των υποψηφίων σύμφωνα με τις ρουμπρίκες ανά κανόνα και εκδίδει μια ετυμηγορία. Στο Pass 2, ένας συγχρονισμένος έλεγχος αντιγραφής πολιτικής ελέγχει τη συλλογιστική του κριτή έναντι μετα-ρουμπρίκων και παρέχει μια βαθμωτή ανταμοιβή διαδικασίας. Οι ερευνητές εντοπίζουν έναν τρόπο αποτυχίας στον οποίο ο κριτής θα μπορούσε να αντιγράψει ή να εκμεταλλευτεί τα διακριτικά ετυμηγορίας του για να διογκώσει την ανταμοιβή του. Για την αντιμετώπιση αυτού του κινδύνου, το RecurSE χρησιμοποιεί την αποσύνδεση διεπαφής: η βαθμωτή βαθμολογία του πούλι απομονώνεται από τα διακριτικά ετυμηγορίας του κριτή. Αυτό αποσκοπεί στην κατάργηση μιας εκφυλιστικής συντόμευσης αντιγραφής διακριτικών και να κάνει την ανταμοιβή που παράγεται από τον εαυτό σας πιο ουσιαστική. Η εργασία υποστηρίζει επίσης ότι η αναδρομική μάθηση χωρίς εξωτερική άγκυρα είναι εγγενώς περιορισμένη. Εισάγει το Pairwise Advantage Validity, ή PAV, ως οθόνη επικύρωσης που παρακολουθεί από κοινού την ακρίβεια των κριτών και την πιστότητα του ελεγκτή. Ο αναφερόμενος σκοπός είναι να εντοπιστεί ένα βέλτιστο παράθυρο πρόωρης διακοπής, αντί να επιτραπεί να συνεχιστεί επ' αόριστον.

Η περίληψη αναφέρει πειράματα που περιλαμβάνουν Qwen3.5-9B, Gemma-4-E4B-it και Qwen3.6-27B. Λέει ότι η μέθοδος παρήγαγε σταθερά κέρδη γενίκευσης σε συγκρατημένα ιατρικά, σε ζεύγη, σύνοψη και επαγγελματικά σημεία αναφοράς και ότι οι μελέτες κατάλυσης βρήκαν τη συγχρονισμένη συνεξέλιξη κριτή-ελεγκτή ισχυρότερη από τα παγωμένα πούλια, τους εξωτερικούς μετακριτές, την αυτοσυνέπεια και την κλιμακωτή απόσταξη δασκάλου. Η πηγή δεν δίνει το αριθμητικό μέγεθος αυτών των κερδών στο παρεχόμενο κείμενο. Οι ερευνητές αναφέρουν περαιτέρω ότι τα ζεύγη προτιμήσεων που επιμελήθηκαν ο κριτής τους βελτίωσαν την ευθυγράμμιση της πολιτικής κατάντη. Αυτό επεκτείνει τη μέθοδο πέρα ​​από την αξιολόγηση των απαντήσεων: τα αποτελέσματα του κριτή παρουσιάζονται ως χρήσιμα εκπαιδευτικά δεδομένα για την ευθυγράμμιση μιας άλλης πολιτικής. Το υπό όρους συμπέρασμα της εργασίας είναι ότι η περιορισμένη αναδρομική αυτοβελτίωση για τους κριτές LLM είναι βιώσιμη όταν η εγκυρότητα των ανταμοιβών που παράγονται από τον ίδιο τον εαυτό αποσυνδέεται και παρακολουθείται ρητά. Ως υποβολή arXiv και όχι ως δημοσίευση με κριτές από ομοτίμους, οι ισχυρισμοί είναι τα αναφερόμενα αποτελέσματα και η πρόταση των συγγραφέων και όχι ευρήματα που έχουν καθοριστεί ανεξάρτητα.

Στοιχεία πηγής: arxiv.org ↗

Γιατί έχει σημασία

Οι κριτές LLM χρησιμοποιούνται όλο και περισσότερο για να αξιολογούν απαντήσεις ανοιχτού τύπου και να καθοδηγούν το μοντέλο μετά την εκπαίδευση, αλλά η βελτίωση αυτών των κριτών μπορεί να απαιτεί δαπανηρούς ανθρώπινους σχολιασμούς ή ισχυρότερα μοντέλα δασκάλων. Το RecurSE προσφέρει μια πιθανή διαδρομή χαμηλότερης επίβλεψης, ενώ δείχνει επίσης γιατί η αυτοβελτίωση απαιτεί διασφαλίσεις έναντι κυκλικών ή παραπλανητικών ανταμοιβών.

Η σημασία της εργασίας έγκειται στο κόστος και την κλίμακα της αξιολόγησης του μοντέλου. Οι ανθρώπινοι αναθεωρητές μπορεί να είναι ακριβοί και αργοί, ενώ τα ισχυρότερα μοντέλα δασκάλων ή τα ξεχωριστά εκπαιδευμένα μοντέλα ανταμοιβής προσθέτουν υποδομή και εξάρτηση. Εάν ένα μοντέλο μπορεί να δημιουργήσει χρήσιμα σήματα εκμάθησης για τη βελτίωση ενός αξιολογητή, οι προγραμματιστές θα μπορούσαν ενδεχομένως να επεκτείνουν τις ροές εργασίας αξιολόγησης ή μετά την εκπαίδευση με λιγότερο εξωτερικό σχολιασμό. Η πηγή υποστηρίζει μόνο τον πιο περιορισμένο ισχυρισμό ότι οι συγγραφείς δοκίμασαν τη μέθοδο και αναφέρουν κέρδη σε επιλεγμένες ρυθμίσεις. Δεν καθορίζει ότι η εξωτερική εποπτεία μπορεί γενικά να εξαλειφθεί ή ότι το RecurSE είναι φθηνότερο σε κάθε ανάπτυξη. Το έγγραφο εξετάζει επίσης ένα κεντρικό πρόβλημα αξιοπιστίας στην αξιολόγηση της τεχνητής νοημοσύνης: ένα σύστημα μπορεί να φαίνεται να βελτιώνεται επειδή έχει μάθει να ικανοποιεί τον αξιολογητή του αντί να κάνει καλύτερες κρίσεις.

Ο προτεινόμενος διαχωρισμός μεταξύ της κλιμακωτής ανταμοιβής του ελεγκτή και των διακριτικών ετυμηγορίας του κριτή έχει σχεδιαστεί για να μειώσει μια συγκεκριμένη συντόμευση. Η οθόνη PAV προορίζεται να εντοπίσει πότε η αναδρομική εκπαίδευση εξακολουθεί να βελτιώνει την έγκυρη αξιολόγηση αντί να παρασύρεται στην αυτοενίσχυση. Αυτό καθιστά την εργασία σχετική όχι μόνο με την αποτελεσματικότητα αλλά και με την αξιοπιστία των αυτοματοποιημένων αξιολογήσεων που χρησιμοποιούνται στην ανάπτυξη μοντέλων. Η αναφερόμενη κάλυψη αναφοράς καλύπτει ιατρικές, κατά ζεύγη, σύνοψη και επαγγελματικές εργασίες και όχι ένα μόνο στενό τεστ. Η παρατεταμένη αξιολόγηση, όπως περιγράφεται στην περίληψη, έχει σκοπό να εξετάσει εάν η μέθοδος γενικεύεται πέρα ​​από τα παραδείγματα που χρησιμοποιούνται κατά τη διάρκεια της εκπαίδευσης. Ωστόσο, η πηγή δεν παρέχει λεπτομέρειες εδώ σχετικά με την κατασκευή αυτών των συνόλων δεδομένων, τα κριτήρια αξιολόγησης, τις βασικές τιμές, το μέγεθος των συνόλων δοκιμής ή το μέγεθος και τη διακύμανση των βελτιώσεων. Χωρίς αυτές τις λεπτομέρειες, οι αναγνώστες δεν μπορούν να προσδιορίσουν πόσο μεγάλα, ισχυρά ή πρακτικά σημαντικά είναι τα αναφερόμενα κέρδη.

Ο ισχυρισμός κατάντη ευθυγράμμισης θα μπορούσε να έχει σημασία εάν τα επιμελημένα από τους κριτές ζεύγη προτιμήσεων μειώνουν την εργασία που απαιτείται για την παραγωγή δεδομένων κατάρτισης. Ωστόσο, ένας κριτής που βελτιώνεται στο να ταιριάζει με τη δική του ρουμπρίκα δεν είναι αυτόματα κριτής που συλλαμβάνει τις ανθρώπινες προτιμήσεις, τα πρότυπα τομέα ή τις απαιτήσεις ασφάλειας. Η πηγή λέει ότι τα ζεύγη προτιμήσεων ενίσχυσαν την κατάντη ευθυγράμμιση των πολιτικών, αλλά δεν διευκρινίζει ποιανού οι προτιμήσεις καθόρισαν την ευθυγράμμιση, πώς μετρήθηκε η ευθυγράμμιση ή εάν οι ανθρώπινοι αναθεωρητές επιβεβαίωσαν τις αλλαγές που προέκυψαν. Αυτή η διάκριση είναι σημαντική για οποιονδήποτε εξετάζει τη μέθοδο σε ευαίσθητες εφαρμογές ή εφαρμογές υψηλού αντίκτυπου. Ευρύτερα, το RecurSE προσφέρει ένα συγκεκριμένο παράδειγμα των ορίων της αυτοβελτίωσης. Ο σχεδιασμός του προϋποθέτει ότι οι ανταμοιβές που παράγονται από τον εαυτό τους μπορούν να γίνουν χρήσιμες μέσω του δομικού διαχωρισμού και της παρακολούθησης. δεν καταργεί την ανάγκη καθορισμού ρουμπρίκων, μετα-ρουμπρικών ή στόχων επικύρωσης. Επομένως, η συνεισφορά γίνεται καλύτερα κατανοητή ως ένα προτεινόμενο πλαίσιο εκπαίδευσης και ελέγχου για μια συγκεκριμένη κατηγορία αξιολογητών LLM. Η δημόσια αξία θα εξαρτηθεί από το εάν μεταγενέστερη εργασία επιβεβαιώσει ότι οι διασφαλίσεις της παραμένουν αποτελεσματικές όταν αλλάζουν μοντέλα, εργασίες, ρουμπρίκες ή κίνητρα.

Τι να παρακολουθήσετε στη συνέχεια

Η πηγή αναφέρει κέρδη σε διάφορα μοντέλα και τύπους σημείων αναφοράς, αλλά δεν παρέχει μεγέθη εφέ, μεγέθη δεδομένων, στατιστική σημασία ή λεπτομέρειες ανεξάρτητης αναπαραγωγής αφηρημένα. Περαιτέρω έλεγχος θα πρέπει να ελέγξει εάν η μέθοδος παραμένει αξιόπιστη εκτός των αναφερόμενων ρυθμίσεων και εάν η οθόνη διακοπής μπορεί να εντοπίσει παραπλανητική αυτοβελτίωση.

Το πρώτο ερώτημα είναι εάν οι αναφερόμενες βελτιώσεις επιβιώνουν από ανεξάρτητη αναπαραγωγή. Η παρεχόμενη πηγή προσδιορίζει τρεις οικογένειες ή εκδόσεις μοντέλων και πολλές κατηγορίες σημείων αναφοράς, αλλά δεν αναφέρει τον αριθμό των εργασιών, τυχαίου σπόρους, σειρές εκπαίδευσης ή στατιστικές δοκιμές. Οι μελλοντικές αξιολογήσεις θα πρέπει να αναφέρουν αυτές τις λεπτομέρειες και να συγκρίνουν το RecurSE με τις ίδιες βασικές γραμμές υπό αντιστοιχισμένες συνθήκες υπολογισμού, δεδομένων και εκπαίδευσης. Αυτό θα διευκρίνιζε εάν τα κέρδη προέρχονται από τον ίδιο τον επαναλαμβανόμενο σχεδιασμό, την πρόσθετη βελτιστοποίηση, τις επιλογές που αφορούν συγκεκριμένα σημεία αναφοράς ή άλλες διαφορές στην πειραματική ρύθμιση.

Ένα δεύτερο ζήτημα είναι εάν η PAV μπορεί να προσδιορίσει αξιόπιστα το σημείο στο οποίο πρέπει να σταματήσει η αυτοβελτίωση. Η περίληψη περιγράφει το PAV ως μια αμερόληπτη οθόνη επικύρωσης που παρακολουθεί από κοινού την ακρίβεια του κριτή και την πιστότητα του ελεγκτή, αλλά δεν εξηγεί την κατασκευή της οθόνης ούτε παρέχει στοιχεία για τη βαθμονόμησή της. Οι ερευνητές και οι χρήστες θα πρέπει να εξετάσουν περιπτώσεις όπου ο κριτής και ο ελεγκτής συμφωνούν για λάθος λόγους, όπου και οι δύο κληρονομούν το ίδιο τυφλό σημείο ή όπου η απόδοση βελτιώνεται σε μια ρουμπρίκα ενώ υποβαθμίζει την ποιότητα που σχετίζεται με τον άνθρωπο. Τέτοιες δοκιμές θα διερευνήσουν εάν ο προτεινόμενος κανόνας παύσης εντοπίζει πραγματική πρόοδο και όχι εσωτερική συνέπεια.

Η εξάρτηση της μεθόδου από ρουμπρίκες και μετα-ρουμπρίκες αξίζει επίσης προσοχή. Η πηγή λέει ότι ο κριτής αξιολογεί τις απαντήσεις σύμφωνα με τις ρουμπρίκες ανά κανόνα και ο ελεγκτής ελέγχει τους συλλογισμούς σε σχέση με τις μετα-ρουμπρίκες, αλλά δεν περιγράφει πώς αυτές οι ρουμπρίκες έχουν δημιουργηθεί, ενημερώνονται ή προστατεύονται από ασάφεια. Οι κακώς καθορισμένοι κανόνες θα μπορούσαν να δώσουν στον αναδρομικό βρόχο έναν σταθερό αλλά ανεπιθύμητο στόχο. Η μελλοντική εργασία θα πρέπει να δοκιμάσει αντικρουόμενα κριτήρια, ελλιπείς οδηγίες, αντίθετες απαντήσεις και τομείς στους οποίους η ορθότητα είναι δύσκολο να περιοριστεί σε γραπτή ρουμπρίκα, συμπεριλαμβανομένων των αναφερόμενων ιατρικών και επαγγελματικών ρυθμίσεων.

Η κατάντη χρήση ζευγών προτιμήσεων που επιμελούνται οι κριτές είναι ένας άλλος τομέας για επαλήθευση. Η πηγή αναφέρει ότι βελτίωσε την ευθυγράμμιση των πολιτικών, αλλά η ουσιαστική ανάπτυξη θα απαιτούσε στοιχεία σχετικά με την ποιότητα προτίμησης, τη διαφωνία με τους ανθρώπινους αξιολογητές και τις αποτυχίες που εισήχθησαν από τη διαδικασία επιμέλειας. Παραμένει άγνωστο εάν η προσέγγιση μεταφέρεται σε μεγέθη μοντέλων, γλώσσες, τομείς και στόχους αξιολόγησης ή εάν η πιστότητα του ελεγκτή πέφτει όταν ο κριτής αντιμετωπίζει άγνωστες εργασίες. Αυτά τα άγνωστα περιορίζουν το πόσο ευρέως πρέπει να εφαρμόζονται τα συμπεράσματα της περίληψης.

Τέλος, η εργασία είναι προεκτύπωση arXiv που υποβλήθηκε στις 25 Αυγούστου 2026 και η παρεχόμενη πηγή περιέχει μόνο την περίληψη και τη βιβλιογραφική σελίδα. Το πλήρες έγγραφο μπορεί να περιέχει τις πειραματικές λεπτομέρειες που λείπουν, αλλά δεν μπορούν να θεωρηθούν εδώ. Οι αναγνώστες θα πρέπει να αναζητήσουν την πλήρη μεθοδολογία, τον κώδικα ή τα δεδομένα που κυκλοφόρησαν, τα αποτελέσματα κατάλυσης, τις αναλύσεις σφαλμάτων και τις ανεξάρτητες μελέτες παρακολούθησης. Μέχρι τότε, το RecurSE είναι απόδειξη μιας συγκεκριμένης ερευνητικής κατεύθυνσης και μια έκθεση συγγραφέων με πολλά υποσχόμενα αποτελέσματα, όχι απόδειξη ότι οι κριτές LLM μπορούν με ασφάλεια ή αξιοπιστία να βελτιωθούν γενικά.

Σχετικοί οδηγοί και κουίζ