Αντανακλαστικοί και Αυτοδιορθωτικοί Παράγοντες
Το Reflexion είναι μια τεχνική όπου ένας πράκτορας AI εξετάζει γραπτώς τις δικές του αποτυχίες και τροφοδοτεί αυτά τα μαθήματα στην επόμενη προσπάθειά του.
Επισκόπηση
It matters because it lets agents improve on a task without retraining the underlying model.
Βαθιά κατάδυση
Το Reflexion, που εισήχθη σε μια εργασία του 2023 από τον Shinn και τους συναδέλφους του, δίνει σε έναν πράκτορα έναν βρόχο: επιχειρεί μια εργασία, λαμβάνει ένα μήνυμα για το πώς τα κατάφερε (ένα αποτέλεσμα δοκιμής, μια ανταμοιβή ή μια κριτική), και στη συνέχεια γράφει μια σύντομη «αναστοχασμό» σε φυσική γλώσσα εξηγώντας τι πήγε στραβά και τι να δοκιμάσει στη συνέχεια. Αυτή η αντανάκλαση αποθηκεύεται στη μνήμη και προσαρτάται στην προτροπή της επόμενης προσπάθειας. Το σημαντικό είναι ότι τα βάρη του μοντέλου δεν αλλάζουν ποτέ. Η μάθηση γίνεται εξ ολοκλήρου στο παράθυρο περιβάλλοντος ως κείμενο. Αυτή η «λεκτική μάθηση ενίσχυσης» επιτρέπει στους πράκτορες να επαναλαμβάνουν προβλήματα κωδικοποίησης, πλοήγηση στον ιστό και συλλογιστικές εργασίες. Στο σημείο αναφοράς κωδικοποίησης HumanEval, η αυτοδιόρθωση τύπου Reflexion ώθησε τα ποσοστά περασμάτων σημαντικά υψηλότερα από τις προσπάθειες μίας βολής, απλώς αφήνοντας τον πράκτορα να διορθώσει τα δικά του λάθη σε μερικές προσπάθειες.
Τεχνική διορατικότητα
Το Reflexion διαχωρίζει τρεις ρόλους: έναν Ηθοποιό που δημιουργεί ενέργειες, έναν Αξιολογητή που βαθμολογεί το αποτέλεσμα (δοκιμές ενοτήτων, έλεγχος ακριβούς αντιστοίχισης ή κριτής LLM) και ένα μοντέλο Αυτοστοχασμού που μετατρέπει αυτή τη βαθμολογία σε μάθημα κειμένου. Το μάθημα προσγειώνεται σε ένα επεισοδιακό buffer μνήμης που χρησιμοποιείται ξανά στην επόμενη δοκιμή. Επειδή η ανατροφοδότηση είναι γλώσσα και όχι διαβαθμίσεις, δεν απαιτείται εκπαίδευση GPU, αλλά εξαρτάται σε μεγάλο βαθμό από ένα αξιόπιστο σήμα αξιολόγησης για να αποφευχθεί η ενίσχυση σίγουρων αλλά εσφαλμένων ανακλάσεων.
Στρατηγικός αντίκτυπος
Δημιουργήστε επιλογές
Ο σχεδιασμός σε επίπεδο εφαρμογής καθορίζει εάν η τεχνητή νοημοσύνη βελτιώνει τα πραγματικά αποτελέσματα.
Ομάδα και ροή εργασίας
Η καλή ενσωμάτωση ροής εργασιών δημιουργεί κέρδη παραγωγικότητας που μπορούν να εμπιστευτούν οι χρήστες.
Κίνδυνος και ασφάλεια
Οι καλές περιπτώσεις χρήσης μειώνουν την κόπωση λόγω αλλαγής και τον κίνδυνο εφαρμογής.
The Future of Reflexion and Self-Correcting Agents
Η αυτοδιόρθωση γίνεται ένα προεπιλεγμένο επίπεδο στα πλαίσια πρακτόρων και όχι ένα ερευνητικό τέχνασμα. Αναμένετε στενότερη ενσωμάτωση με αυτοματοποιημένους επαληθευτές, όπως κουτιά άμμου κώδικα, επίσημους ελεγκτές και ανάκτηση που επιβεβαιώνει τα γεγονότα, έτσι ώστε οι αντανακλάσεις να βασίζονται σε αντικειμενικά σήματα αντί να μαντεύει το ίδιο το μοντέλο. Οι ανοιχτές προκλήσεις είναι η αποφυγή βρόχων όπου ένας πράκτορας «διορθώνει» ατελείωτα το λειτουργικό αποτέλεσμα, αποφασίζει πότε θα σταματήσει την επανάληψη και εμποδίζει τις αντανακλάσεις να παρασυρθούν σε εύλογους αλλά μη επαληθευμένους εξορθολογισμούς.
Υλοποίηση σε πραγματικό κόσμο
Ένας παράγοντας κωδικοποίησης που εκτελεί δοκιμές μονάδων, διαβάζει τον ισχυρισμό που αποτυγχάνει, γράφει μια σημείωση στο σφάλμα και επεξεργάζεται τον κώδικά του πριν εκτελέσει ξανά τη σουίτα.
Ένας βοηθός ερευνητής που συλλαμβάνει μια παραισθησιολογική αναφορά όταν αποτυγχάνει ένας έλεγχος ανάκτησης, στη συνέχεια αναθεωρεί την απάντηση για να χρησιμοποιήσει μόνο επαληθευμένες πηγές.
Ένας πράκτορας πλοήγησης ιστού (π.χ. στα κριτήρια αξιολόγησης AlfWorld ή WebShop) που καταγράφει "Έκανα κλικ σε λάθος φίλτρο" και αποφεύγει αυτό το λάθος κατά την επανάληψη.
Ένας μαθηματικός επίλυσης προβλημάτων που ελέγχει την τελική του απάντηση σε σχέση με έναν περιορισμό, παρατηρεί ένα σφάλμα πρόσημου και επεξεργάζεται ξανά το σχετικό βήμα.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η αυτοματοποίηση μιας διαλυμένης διαδικασίας μπορεί να ενισχύσει τα υπάρχοντα προβλήματα.
Οι ομάδες μπορεί να αυτοματοποιήσουν υπερβολικά και να αφαιρέσουν την απαραίτητη ανθρώπινη κρίση.
Η ποιότητα μπορεί να αλλάξει αν τα αποτελέσματα δεν αξιολογούνται συνεχώς.
Οδικός Χάρτης Εφαρμογής
Χαρτογραφήστε την τρέχουσα ροή εργασίας και εντοπίστε το βήμα της υψηλότερης τριβής.
Καθορίστε ανθρώπινα σημεία ελέγχου πριν από την πλήρη αυτοματοποίηση.
Εκπαιδεύστε τους χρήστες σε προτροπές, διαδρομές κλιμάκωσης και πρότυπα ποιότητας.
Παρακολουθήστε τα αποτελέσματα σε επίπεδο εργασίας για να επιβεβαιώσετε τη σταθερή αξία.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Αυτο-στοχασμός σε βρόχους πράκτορα
Συχνές ερωτήσεις
What is Reflexion and Self-Correcting Agents?
Το Reflexion είναι μια τεχνική όπου ένας πράκτορας AI εξετάζει γραπτώς τις δικές του αποτυχίες και τροφοδοτεί αυτά τα μαθήματα στην επόμενη προσπάθειά του. Έχει σημασία γιατί επιτρέπει στους πράκτορες να βελτιώσουν μια εργασία χωρίς να επανεκπαιδεύσουν το υποκείμενο μοντέλο.
Ποιο είναι το καθοριστικό χαρακτηριστικό του πώς «μαθαίνει» ένας πράκτορας Reflexion;
Η αντανάκλαση αποκαλείται μερικές φορές «λεκτική μάθηση ενίσχυσης» επειδή τα μαθήματα αποθηκεύονται ως κείμενο φυσικής γλώσσας στη μνήμη και δεν κωδικοποιούνται στις παραμέτρους του μοντέλου.
Στο πλαίσιο Reflexion, τι κάνει ο Αξιολογητής;
Ο Αξιολογητής (μια δοκιμή μονάδας, έλεγχος ακριβούς αντιστοίχισης ή κριτής LLM) παράγει το σήμα ότι το βήμα Αυτο-στοχασμού μετατρέπεται σε μάθημα κειμένου.
Γιατί έχει τόση σημασία η ποιότητα του σήματος αξιολόγησης στο Reflexion;
Εάν ο αξιολογητής είναι αναξιόπιστος, ο πράκτορας μπορεί να γράψει σίγουρες σκέψεις με βάση την κακή ανάδραση, κατευθύνοντας μελλοντικές προσπάθειες προς τη λάθος κατεύθυνση.
Σε ποιο σημείο αναφοράς η αυτοδιόρθωση τύπου Reflexion βελτίωσε σημαντικά τα ποσοστά πρόσβασης κωδικοποίησης;
Το HumanEval είναι ένα σημείο αναφοράς για τη δημιουργία κώδικα και το να επιτρέπει στον παράγοντα εντοπισμό σφαλμάτων σε πολλαπλές προσπάθειες αύξησε τα ποσοστά πάσας πολύ πάνω από την απόδοση μιας λήψης.
Ποιος είναι ένας γνήσιος ανοιχτός κίνδυνος με τους αυτοδιορθωτικούς παράγοντες;
Χωρίς έναν καλό κανόνα διακοπής, ένας πράκτορας μπορεί να συνεχίσει να αναθεωρεί τις σωστές απαντήσεις, να σπαταλά τον υπολογισμό και μερικές φορές να υποβαθμίζει την καλή απόδοση.