Toolformer και Αυτοδίδακτος Χρήση εργαλείων
Το Toolformer είναι μια Meta μέθοδος τεχνητής νοημοσύνης του 2023 που επιτρέπει σε ένα μοντέλο γλώσσας να μαθαίνει πότε και πώς να καλεί εξωτερικά εργαλεία όπως αριθμομηχανές, μηχανές αναζήτησης και μεταφραστές.
Επισκόπηση
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
Βαθιά κατάδυση
Toolformer, από τους Schick et al. στο Meta AI, αντιμετωπίζει ένα παράδοξο: τα μεγάλα μοντέλα είναι εξαιρετικά στη γλώσσα, αλλά κακά στην αριθμητική, τα νέα στοιχεία και τις ακριβείς αναζητήσεις. Ο βρόχος εκπαίδευσης εποπτεύεται από τον εαυτό του. Στο μοντέλο δίνονται μια χούφτα γραμμένα από τον άνθρωπο παραδείγματα που δείχνουν σύνταξη κλήσης API και, στη συνέχεια, ζητείται να εισαγάγετε υποψήφιες κλήσεις (τυλιγμένες σε ειδικά διακριτικά) σε πολλές θέσεις σε ένα μεγάλο σώμα κειμένου. Κάθε υποψήφια κλήση εκτελείται στην πραγματικότητα και το αποτέλεσμα συνδυάζεται. Το βήμα φιλτραρίσματος κλειδιού διατηρεί μια κλήση εργαλείου μόνο εάν το αποτέλεσμα του API μειώνει την αμηχανία του μοντέλου στο επερχόμενο πραγματικό κείμενο περισσότερο από τη μη κλήση ή διαφορετική κλήση. Στη συνέχεια, το μοντέλο ρυθμίζεται με ακρίβεια σε αυτό το φιλτραρισμένο, αυτοπαραγόμενο σύνολο δεδομένων, μαθαίνοντας να επικαλείται πέντε εργαλεία: μια αριθμομηχανή, ένα σύστημα QA, μια μηχανή αναζήτησης, έναν μεταφραστή και ένα ημερολόγιο.
Τεχνική διορατικότητα
Η αποφασιστική ιδέα είναι ο αυτοεπιβλεπόμενος στόχος φιλτραρίσματος. Για κάθε υποψήφια θέση, το Toolformer συγκρίνει την απώλεια της πρόβλεψης των ακόλουθων διακριτικών με το αποτέλεσμα του API που έχει εισαχθεί έναντι του χωρίς αυτό. Οι κλήσεις που μειώνουν την απώλεια κατά περισσότερο από ένα όριο διατηρούνται. άχρηστες ή θορυβώδεις κλήσεις απορρίπτονται. Αυτό σημαίνει ότι δεν απαιτείται ανθρώπινος σχολιασμός για τη «σωστή» χρήση του εργαλείου, το ίδιο το μοντέλο αποφασίζει ποιες κλήσεις ήταν πραγματικά ενημερωτικές και μαθαίνει την τοποθέτηση και τα επιχειρήματα από κοινού.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
The Future of Toolformer και Αυτοδίδακτης Χρήσης Εργαλείων
Το Toolformer δημιούργησε τους σημερινούς πράκτορες που χρησιμοποιούν εργαλεία και καλούν λειτουργίες. Τα σύνορα μετακινούνται από μια σταθερή χούφτα εργαλείων σε δεκάδες ή εκατοντάδες που ανακαλύφθηκαν κατά τη διάρκεια της εκτέλεσης, με τα μοντέλα να συλλογίζονται για το ποιο εργαλείο να καλέσουν, να αλυσιδώνουν τις κλήσεις και να χειρίζονται αστοχίες. Αναμένετε στενότερη ενσωμάτωση με την ενισχυτική μάθηση και τους βρόχους πράκτορα, καθώς και την άμεση εκμάθηση νέων API, έτσι ώστε η χρήση αυτοδίδακτων εργαλείων να γίνει τυπική ικανότητα και όχι εξειδικευμένη λεπτομέρεια.
Υλοποίηση σε πραγματικό κόσμο
Κλήση API αριθμομηχανής στη μέση πρόταση για να λάβετε ακριβή αριθμητική αντί να μαντέψετε μια αριθμητική απάντηση.
Ερώτηση για ένα σύστημα αναζήτησης ή διασφάλισης ποιότητας για τη λήψη ενημερωμένων ή σπάνια εμφανιζόμενων πραγματικών πληροφοριών.
Επίκληση ενός εργαλείου μηχανικής μετάφρασης για απόδοση μιας φράσης σε άλλη γλώσσα μέσα στο κείμενο που δημιουργείται.
Χρησιμοποιώντας ένα εργαλείο ημερολογίου/ημερομηνίας για την επίλυση σχετικών παραπομπών όπως «την επόμενη Παρασκευή» σε μια συγκεκριμένη ημερομηνία.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Toolformer and Self-Taught Tool Use quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Αυτο-στοχασμός σε βρόχους πράκτορα
Συχνές ερωτήσεις
What is Toolformer and Self-Taught Tool Use?
Το Toolformer είναι μια Meta μέθοδος τεχνητής νοημοσύνης του 2023 που επιτρέπει σε ένα μοντέλο γλώσσας να μαθαίνει πότε και πώς να καλεί εξωτερικά εργαλεία όπως αριθμομηχανές, μηχανές αναζήτησης και μεταφραστές. Αντί για κλήσεις εργαλείων ετικετών από ανθρώπους, το μοντέλο δημιουργεί και φιλτράρει τα δικά του παραδείγματα εκπαίδευσης και, στη συνέχεια, συντονίζει αυτά που πραγματικά βοηθούν.
Τι κάνει ξεχωριστή την προσέγγιση του Toolformer στη χρήση εργαλείων εκμάθησης;
Το Toolformer εποπτεύεται από τον εαυτό του: το μοντέλο προτείνει υποψήφιες κλήσεις API, τις εκτελεί και διατηρεί μόνο τις χρήσιμες, χωρίς ανθρώπινο σχολιασμό της σωστής χρήσης.
Ποιο κριτήριο χρησιμοποιεί το Toolformer για να αποφασίσει εάν θα διατηρήσει μια κλήση υποψηφίου API;
Μια κλήση διατηρείται μόνο εάν η εισαγωγή του αποτελέσματός της μειώνει την αμηχανία/απώλεια του μοντέλου στο επερχόμενο πραγματικό κείμενο πέρα από ένα όριο, υποδεικνύοντας ότι ήταν πραγματικά χρήσιμο.
Ποιο σύνολο εργαλείων έμαθε να χρησιμοποιεί το αρχικό Toolformer;
Το Toolformer εκπαιδεύτηκε να επικαλείται πέντε API: μια αριθμομηχανή, ένα σύστημα απαντήσεων σε ερωτήσεις, μια μηχανή αναζήτησης, έναν μηχανικό μεταφραστή και ένα ημερολόγιο.
Πώς αντιπροσωπεύονται οι κλήσεις εργαλείων στο κείμενο κατά τη διαδικασία του Toolformer;
Οι κλήσεις υποψηφίων και τα επιστρεφόμενα αποτελέσματά τους εισάγονται ενσωματωμένα στο κείμενο χρησιμοποιώντας ειδικά διακριτικά, έτσι το μοντέλο μαθαίνει την τοποθέτηση και τα ορίσματα μαζί.
Ποια υποκείμενη αδυναμία των μεγάλων γλωσσικών μοντέλων παρακίνησε το Toolformer;
Παρά τις ισχυρές γλωσσικές δεξιότητες, οι LLM αγωνίζονται με την ακριβή αριθμητική, τα ενημερωμένα στοιχεία και την ακριβή ανάκτηση πληροφοριών, που μπορούν να παρέχουν τα εξωτερικά εργαλεία.