Τι έγινε
Μια προέκδοση που δημοσιεύτηκε στο arXiv στις 29 Ιουλίου 2026 και αναθεωρήθηκε στις 7 Αυγούστου προτείνει έναν νέο τρόπο μέτρησης της προόδου προς την αυτοματοποιημένη έρευνα τεχνητής νοημοσύνης: να παραδώσετε σε έναν πράκτορα την κεντρική ερώτηση ανοιχτού τύπου για μια υψηλής ποιότητας αδημοσίευτη εργασία και να βάλετε τους αρχικούς συγγραφείς αυτής της εργασίας να βαθμολογήσουν το αποτέλεσμα. Σε δύο δοκιμές, οι συνοριακοί πράκτορες ολοκλήρωσαν τη μηχανική χωρίς ανθρώπινη βοήθεια, αλλά απορρίφθηκαν από τους ανθρώπινους βαθμοφόρους και οι συγγραφείς προσδιορίζουν πέντε επαναλαμβανόμενους τρόπους αστοχίας.
Μια προέκδοση στο arXiv, που υποβλήθηκε στις 29 Ιουλίου 2026 και αναθεωρήθηκε στις 7 Αυγούστου 2026, ρωτά εάν οι πράκτορες τεχνητής νοημοσύνης μπορούν να διεξάγουν έρευνα τεχνητής νοημοσύνης ανοιχτού τύπου. Περιλαμβάνει 24 καταγεγραμμένους συγγραφείς, συμπεριλαμβανομένων των Peter Kirgis, Sayash Kapoor, Helen Toner, Gillian Hadfield, Seth Lazar, Rishi Bommasani και Arvind Narayanan, και έχει καταχωρηθεί ως τεχνητή νοημοσύνη, υπολογιστές και κοινωνία και μηχανική μάθηση. Η κεντρική συνεισφορά του είναι μια μέθοδος μέτρησης που οι συγγραφείς αποκαλούν "σκιώδη αξιολόγηση": δίνεται σε έναν πράκτορα το κεντρικό, ανοιχτό ερευνητικό ερώτημα μιας υψηλής ποιότητας αλλά αδημοσίευτης εργασίας και οι αρχικοί συγγραφείς της εργασίας βαθμολογούν στη συνέχεια τι παράγει ο πράκτορας.
Οι συγγραφείς το τοποθετούν ως τρίτη επιλογή ανάμεσα σε δύο υπάρχουσες προσεγγίσεις που περιγράφουν ως ανεπαρκείς. Οι τρέχουσες αξιολογήσεις πρακτόρων, γράφουν, είτε δοκιμάζουν πράκτορες σε στενές, επαληθεύσιμες εργασίες - οι οποίες από την κατασκευή αποκλείουν την έρευνα ανοιχτού τύπου - είτε υποβάλλουν έγγραφα που δημιουργούνται από την τεχνητή νοημοσύνη σε τυφλή αξιολόγηση από ομοτίμους, τα οποία χαρακτηρίζουν υπερβολικά τεντωμένα, στοχαστικά και υποφέρουν από κακή ποιότητα κριτικής. Αντίθετα, οι σκιώδεις αξιολογήσεις χρησιμοποιούν τους ανθρώπους που γνωρίζουν ήδη το πρόβλημα, τη λογοτεχνία και τις παγίδες του ως βαθμολογητές, επειδή έχουν μια αδημοσίευτη απάντηση με την οποία πρέπει να συγκρίνουν.
Η ομάδα έτρεξε τη μέθοδο σε δύο αδημοσίευτες υποβολές στο NeurIPS 2026. Σύμφωνα με την περίληψη, οι συνοριακοί πράκτορες έλαβαν έξι ημέρες και χιλιάδες δολάρια υπολογισμού ανά προσπάθεια. Οι πράκτορες ολοκλήρωσαν όλη τη μηχανική χωρίς ανθρώπινη βοήθεια - τον κώδικα, τα πειράματα, την υποδομή - αλλά δεν μπόρεσαν να κάνουν ουσιαστική πρόοδο προς την απάντηση των ίδιων των ερευνητικών ερωτημάτων. Και οι δύο προκύπτουσες εργασίες απορρίφθηκαν, σύμφωνα με τα λόγια των συγγραφέων, αναμφίβολα από τους αρχικούς συγγραφείς που ενεργούσαν ως κριτές.
Από τις μεταγραφές οι συγγραφείς εξάγουν πέντε επαναλαμβανόμενους τρόπους αποτυχίας: κακή κρίση σχετικά με τη γραμμή για δημοσιεύσιμη έρευνα. μη δημιουργικές απαντήσεις σε ελλείψεις στο σχεδιασμό της έρευνας· αναποτελεσματική οπισθοδρόμηση από αδιέξοδα. κακή γνώση των πόρων· και ολίσθηση εντολών. Αναφέρουν ότι ένας έλεγχος ευρωστίας χρησιμοποιώντας ένα δεύτερο μοντέλο και ένα δεύτερο ικρίωμα αναπαρήγαγε τις ίδιες αστοχίες, κάτι που υποστηρίζει ότι το αποτέλεσμα είναι ένα τεχνούργημα ενός συγκεκριμένου συστήματος ή λουριού. Η ομάδα λέει ότι δημοσιεύει τις αξιολογήσεις ειδικών, τις απαντήσεις σε έρευνες, τα αποθετήρια πρακτόρων και τα αρχεία καταγραφής.
Πολλά πράγματα που η περίληψη δεν καθιερώνει αξίζει να δηλωθούν ξεκάθαρα. Δεν κατονομάζει ποιοι παράγοντες, μοντέλα ή ικριώματα χρησιμοποιήθηκαν, ούτε το δεύτερο σύστημα στον έλεγχο ευρωστίας. Δεν προσδιορίζει τις δύο υποβολές NeurIPS ή τα υποπεδία τους, δεν δίνει έναν ακριβή υπολογισμό πέρα από τα "χιλιάδες δολάρια", δεν περιγράφει τη ρουμπρίκα βαθμολόγησης ή δεν λέει εάν οι βαθμολογητές είχαν τυφλωθεί στο γεγονός ότι εξέταζαν την παραγωγή των πρακτόρων. Το έργο είναι προεκτύπωση. τίποτα στην πηγή δεν δείχνει ότι έχει ολοκληρώσει την αξιολόγηση από ομοτίμους. Και το δείγμα είναι δύο ερευνητικές ερωτήσεις, βαθμολογημένες από τα άτομα που τις έθεσαν.
Γιατί έχει σημασία
Τα επιχειρήματα ότι η πρόοδος της τεχνητής νοημοσύνης θα επιταχυνθεί απότομα βασίζονται στην υπόθεση ότι τα συστήματα τεχνητής νοημοσύνης μπορούν να αναλάβουν την ίδια την έρευνα για την τεχνητή νοημοσύνη. Αυτή είναι άμεση, αν και μικρή, απόδειξη ότι η υπόθεση δεν ισχύει ακόμα και διαχωρίζει τα μέρη που μπορούν ήδη να κάνουν οι πράκτορες - υλοποίηση - από τα μέρη που δεν μπορούν: να κρίνουν τι αξίζει να δημοσιευτεί, να επανασχεδιάσουν μια ελαττωματική μελέτη και να εγκαταλείψουν αδιέξοδα.
Το πλαίσιο του χαρτιού πηγαίνει κατευθείαν σε μια υπόθεση που φέρει φορτίο στην τρέχουσα πρόβλεψη τεχνητής νοημοσύνης. Όπως το θέτει η περίληψη, οι προβλέψεις για την εκρηκτική πρόοδο της τεχνητής νοημοσύνης εξαρτώνται από τους πράκτορες τεχνητής νοημοσύνης που αυτοματοποιούν την έρευνα τεχνητής νοημοσύνης - τον βρόχο στον οποίο τα καλύτερα συστήματα δημιουργούν καλύτερα συστήματα. Αυτός ο βρόχος επιβεβαιώνεται συχνά και σπάνια μετριέται, επειδή το πράγμα που αυτοματοποιείται είναι ακριβώς το είδος της εργασίας που αντιστέκεται σε ένα σενάριο βαθμολογίας. Μια μέθοδος που παράγει μια διαβαθμισμένη ετυμηγορία από εργαζόμενους ερευνητές σε μια ζωντανή, αναπάντητη ερώτηση είναι μια πιο άμεση εξέταση αυτής της υπόθεσης από τις βαθμολογίες αναφοράς σε εργασίες με γνωστές απαντήσεις.
Το αποτέλεσμα χαράσσει μια γραμμή στη μέση της εργασίας και όχι γύρω από αυτήν. Οι πράκτορες έτρεχαν πολυήμερα πειραματικά προγράμματα χωρίς επίβλεψη και παρήγαγαν κώδικα εργασίας και αποτελέσματα — αυτό είναι μια πραγματική ικανότητα και μια ουσιαστική αλλαγή από πριν από μερικά χρόνια. Αυτό που δεν έκαναν είναι το μέρος που καθορίζει αν αξίζει να δημοσιευτεί η έρευνα: να αναγνωρίσουν ότι ένα αποτέλεσμα είναι λεπτό, να επινοήσουν έναν τρόπο να παρακάμψουν ένα ελάττωμα του σχεδιασμού και να γνωρίζουν πότε μια γραμμή επίθεσης είναι νεκρή. Για τις ομάδες που αποφασίζουν πού να τοποθετήσουν τους πράκτορες σε έναν αγωγό έρευνας ή μηχανικής, αυτή η διάκριση είναι πιο εφαρμόσιμη από μια συνολική βαθμολογία ικανότητας.
Δύο από τους πέντε τρόπους αποτυχίας γενικεύονται πολύ πέρα από την έρευνα. Η κακή επίγνωση πόρων - η καύση ενός σταθερού υπολογισμού ή προϋπολογισμού χρόνου χωρίς προσαρμογή - και η μετατόπιση εντολών, όπου ένας πράκτορας σταματά σταδιακά να κάνει αυτό που του ζητήθηκε, είναι επαναλαμβανόμενα προβλήματα σε οποιαδήποτε αυτόνομη ανάπτυξη μεγάλου ορίζοντα, από πολυήμερους πράκτορες κωδικοποίησης έως λειτουργικούς αυτοματισμούς. Οι εξαήμερες διαδρομές εδώ είναι ασυνήθιστα μεγάλες βάσει των προτύπων αξιολόγησης και οι μεγάλοι ορίζοντες είναι ακριβώς εκεί όπου αυτές οι αποτυχίες έχουν περιθώριο να επιδεινωθούν πριν το προσέξει κανείς.
Οι περιορισμοί είναι πραγματικοί και οι συγγραφείς δεν τους κρύβουν. Δύο περιπτωσιολογικές μελέτες σε έναν χώρο, που αξιολογήθηκαν σε ένα στιγμιότυπο μοντέλων, δεν μπορούν να υποστηρίξουν έναν ισχυρισμό σχετικά με το τι θα μπορούν να κάνουν οι πράκτορες το επόμενο έτος. Αυτό είναι ένα μηδενικό αποτέλεσμα με χρονική σήμανση. Οι συγγραφείς-βαθμολογητές έχουν επίσης ένα προφανές μερίδιο στην ερώτηση που επέλεξαν να εργαστούν και η μέθοδος εν μέρει καταναλώνεται: μόλις δημοσιευτεί μια εργασία, η ερευνητική της ερώτηση δεν μπορεί πλέον να χρησιμεύσει ως αόρατο τεστ. Η απελευθέρωση των αξιολογήσεων, των αποθετηρίων και των αρχείων καταγραφής είναι αυτό που κάνει το εύρημα ελεγχόμενο και όχι μια αξίωση που πρέπει να ληφθεί ως εμπιστοσύνη.
Interactive Mechanism: How It Actually Works
Explore the underlying technology behind this development interactively.
crm_get_transaction(id='4092').What is the most accurate way to describe what AI Agents can do today?
Τι να παρακολουθήσετε στη συνέχεια
Εάν οι σκιώδεις αξιολογήσεις επαναλαμβάνονται σε μεγαλύτερη κλίμακα με τυφλή, προκαταχωρισμένη βαθμολόγηση. εάν οι νεότεροι πράκτορες και τα ικριώματα κλείνουν το κενό κατά την επανεκτέλεση ενάντια στα αποθετήρια και τα αρχεία καταγραφής που έχουν κυκλοφορήσει. και εάν οι πέντε τρόποι αποτυχίας αντέχουν υπό ανεξάρτητο έλεγχο και αξιολόγηση από ομοτίμους.
Το πρώτο πράγμα που πρέπει να προσέξετε είναι αν οι σκιώδεις αξιολογήσεις γίνονται επαναλαμβανόμενο όργανο ή παραμένουν μια εφάπαξ επίδειξη. Αυτό θα σήμαινε περισσότερα έγγραφα σε περισσότερους χώρους και υποπεδία, προκαταχωρισμένες ρουμπρίκες βαθμολόγησης που συμφωνήθηκαν πριν από την εκτέλεση του πράκτορα και τυφλή βαθμολόγηση για το αν η έξοδος προήλθε από έναν πράκτορα ή έναν άνθρωπο. Θα σήμαινε επίσης αντιμετώπιση του προβλήματος της προσφοράς: η μέθοδος χρειάζεται μια σταθερή ροή αδημοσίευτων εργασιών υψηλής ποιότητας, των οποίων οι συγγραφείς είναι πρόθυμοι να καταβάλουν πραγματική προσπάθεια αναθεώρησης στην προσπάθεια ενός πράκτορα.
Το δεύτερο είναι αν το χάσμα κλείνει και πόσο γρήγορα. Επειδή τα αποθετήρια πρακτόρων και τα αρχεία καταγραφής κυκλοφορούν, άλλες ομάδες μπορούν να εκτελέσουν ξανά νεότερα μοντέλα και ικριώματα με βάση τα ίδια δύο ερευνητικά ερωτήματα και να συγκρίνουν απευθείας. Παρακολουθήστε εάν οι βελτιώσεις εμφανίζονται ως καλύτερη μηχανική - κάτι που έκαναν ήδη οι πράκτορες - ή ως κίνηση στις αποτυχίες κρίσης, που είναι το μέρος που λείπει από την εφημερίδα. Μια επανάληψη που παράγει περισσότερα πειράματα, αλλά η ίδια απόρριψη θα ήταν διαφορετικό σήμα από αυτή που παράγει μια εργασία που οι αρχικοί συγγραφείς λαμβάνουν σοβαρά υπόψη.
Τρίτον, ανεξάρτητος έλεγχος των αντικειμένων που απελευθερώθηκαν. Οι πέντε τρόποι αποτυχίας είναι η ανάγνωση των δικών τους μεταγραφών από τους συγγραφείς. άλλοι ερευνητές που διαβάζουν τα ίδια αρχεία καταγραφής μπορεί να κατηγοριοποιήσουν τις βλάβες διαφορετικά ή να διαπιστώσουν ότι ορισμένες αστοχίες εντοπίζονται στο ικρίωμα και στις προτροπές και όχι στα μοντέλα. Το εάν η προεκτύπωση διαγράφει την αξιολόγηση από ομοτίμους και εάν η ταξινομία της επιβιώνει σε επαφή με τις αξιολογήσεις άλλων ανθρώπων, θα καθορίσει πόσο βάρος μπορεί να φέρει.
Τέλος, αποδοχή εκτός της ερευνητικής κοινότητας. Η λίστα των συγγραφέων περιλαμβάνει άτομα που εργάζονται απευθείας στη διακυβέρνηση και την πολιτική της τεχνητής νοημοσύνης, καθώς και χρονοδιαγράμματα για την αυτοματοποιημένη τροφοδοσία Ε&Α της τεχνητής νοημοσύνης σε πλαίσια συνοριακής ασφάλειας, κατώτατα όρια ικανότητας και συζητήσεις εθνικών πολιτικών. Προσέξτε εάν αυτά τα στοιχεία αναφέρονται σε αυτές τις ρυθμίσεις και αν αναφέρονται με ακρίβεια: η εφημερίδα λέει ότι οι σημερινοί πράκτορες παλεύουν με κρίσιμα μέρη του κύκλου ζωής της έρευνας, βασισμένοι σε δύο περιπτώσεις - όχι ότι δεν μπορούν ποτέ να κάνουν έρευνα και όχι ότι η μηχανική ικανότητα που εμφανίζεται είναι ασήμαντη.