ΟΔΗΓΟΣ ΓΛΩΣΣΑΣ AI
Συσσώρευση μείγματος παραγόντων
Το Mixture-of-Agents (MoA) είναι μια τεχνική όπου πολλά γλωσσικά μοντέλα συντάσσουν απαντήσεις και στη συνέχεια ένα μοντέλο συγκέντρωσης συγχωνεύει τις καλύτερες ιδέες τους σε μια βελτιωμένη απάντηση.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It lets a team of open models rival or beat a single top-tier model.
Βαθιά κατάδυση
Το Mixture-of-Agents, το οποίο εισήχθη σε ένα έγγραφο του 2024 από το Together AI, οργανώνει πολλαπλά LLM σε επίπεδα. Στο πρώτο επίπεδο, πολλά μοντέλα «προτάσεων» απαντούν ανεξάρτητα το καθένα στην προτροπή. Στη συνέχεια, οι εξόδους τους ενώνονται και παραδίδονται στο επόμενο επίπεδο, όπου τα μοντέλα ανταποκρίνονται και πάλι, εξαρτώμενα πλέον από όλα τα προηγούμενα προσχέδια. Μετά από έναν ή περισσότερους τέτοιους γύρους, ένα τελικό μοντέλο «συγκεντρωτή» συνθέτει τα πάντα σε μια ενιαία απάντηση. Η βασική επίγνωση, την οποία οι συγγραφείς αποκαλούν «συνεργατικότητα των LLMs», είναι ότι τα μοντέλα παράγουν καλύτερες αποκρίσεις όταν εμφανίζονται οι απαντήσεις των ομοτίμων τους, ακόμη και ατελείς. Στο σημείο αναφοράς AlpacaEval 2.0, ένα MoA που δημιουργήθηκε εξ ολοκλήρου από μοντέλα ανοιχτού κώδικα φέρεται να ξεπέρασε τη βαθμολογία του GPT-4 Omni, αποδεικνύοντας ότι η προσεκτική συνάθροιση διαφορετικών, φθηνότερων μοντέλων μπορεί να νικήσει ένα ενιαίο σύστημα συνόρων.
Υλοποίηση σε πραγματικό κόσμο
Συνδυασμός τριών διαφορετικών μοντέλων ανοιχτής συνομιλίας ως προτείνοντες και, στη συνέχεια, χρήση ενός ισχυρού συσσωρευτή για την παραγωγή μιας εκλεπτυσμένης απάντησης υποστήριξης πελατών.
Ενίσχυση των βαθμολογιών που ακολουθούν τις οδηγίες σε σημεία αναφοράς τύπου AlpacaEval χρησιμοποιώντας μόνο μοντέλα ανοιχτού κώδικα.
Συνδυάζοντας ποικίλες προτάσεις κώδικα από πολλά μοντέλα σε μια ενιαία, πιο στιβαρή υλοποίηση λειτουργίας.
Εκτέλεση ενός αγωγού ανοιχτού βάρους που προσεγγίζει την ποιότητα των συνόρων για μια ανάπτυξη ευαίσθητη στο απόρρητο, όπου τα δεδομένα δεν μπορούν να φύγουν από τους διακομιστές μιας εταιρείας.
The Future of Mixture-of-Agents Aggregation
Αναμένετε ότι η συγκέντρωση τύπου MoA θα εξαπλωθεί καθώς τα συμπεράσματα γίνονται φθηνότερα και τα πλαίσια ενορχήστρωσης ωριμάζουν. Οι κατευθύνσεις έρευνας περιλαμβάνουν εκμάθηση ποιους προτείνοντες να εμπιστεύονται ανά ερώτημα (δρομολόγηση), μείωση της ποινής καθυστέρησης εκτελώντας τους προτείνοντες παράλληλα και κλαδεύοντας νωρίς τους αδύναμους, και συνδυασμό MoA με πράκτορες που χρησιμοποιούν εργαλεία, ώστε ο αθροιστής να συγχωνεύει όχι μόνο κείμενο, αλλά ενέργειες και ανακτημένα στοιχεία. Καθώς τα ανοιχτά μοντέλα πολλαπλασιάζονται, η έξυπνη συναρμολόγησή τους γίνεται ένας ολοένα και πιο πρακτικός δρόμος προς την ποιότητα αιχμής χωρίς ένα μοναδικό γιγάντιο μοντέλο.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Οι ροές εργασίας της γλώσσας μπορούν να κινηθούν πιο γρήγορα χωρίς να θυσιάζεται η συνέπεια.
- Πρόσβαση και προσέγγιση χρηστών. Επεκτείνει την πρόσβαση σε όλες τις γλώσσες και τα στυλ επικοινωνίας.
- Σαφέστερες αποφάσεις. Οι ομάδες μπορούν να αφιερώσουν περισσότερο χρόνο στην κρίση, ενώ ο αυτοματισμός χειρίζεται την επανάληψη.
Προσέξτε
- Τα παραισθησιακά γεγονότα μπορούν να εισάγουν αθόρυβα αναφορές, να υποστηρίζουν ροές ή αποτελέσματα έρευνας.
- Η άμεση ευαισθησία μπορεί να δημιουργήσει ασυνεπή αποτελέσματα σε παρόμοια αιτήματα.
- Τα ευαίσθητα δεδομένα κειμένου ενδέχεται να εκτεθούν εάν τα στοιχεία ελέγχου πρόσβασης είναι αδύναμα.
Επόμενα βήματα
- Καθορίστε τη μορφή εξόδου, τον τόνο και τα πρότυπα ποιότητας πριν από την κυκλοφορία.
- Επίγειες απαντήσεις με αξιόπιστες πηγές όποτε έχει σημασία η ακρίβεια.
- Διατηρήστε ένα σημείο ελέγχου ανθρώπινης αξιολόγησης για αποτελέσματα υψηλού πονταρίσματος.
- Παρακολουθήστε τα μοτίβα αποτυχίας και επανεκπαιδεύστε τις προτροπές ή τις ροές εργασίας τακτικά.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Mixture-of-Agents Aggregation quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Mixture-of-Agents Aggregation?
Το Mixture-of-Agents (MoA) είναι μια τεχνική όπου πολλά γλωσσικά μοντέλα συντάσσουν απαντήσεις και στη συνέχεια ένα μοντέλο συγκέντρωσης συγχωνεύει τις καλύτερες ιδέες τους σε μια βελτιωμένη απάντηση. Επιτρέπει σε μια ομάδα ανοιχτών μοντέλων να ανταγωνιστεί ή να νικήσει ένα μοντέλο κορυφαίας κατηγορίας.
Στο Mixture-of-Agents, ποιος είναι ο ρόλος του μοντέλου aggregator;
Ο αθροιστής διαβάζει όλες τις απαντήσεις των υποψηφίων και δημιουργεί μια συγχωνευμένη απάντηση υψηλότερης ποιότητας.
Σε ποια βασική ιδιότητα των LLM βασίζεται το έγγραφο MoA;
Οι συγγραφείς παρατηρούν ότι τα μοντέλα βελτιώνουν τις απαντήσεις τους όταν εξαρτώνται από προσχέδια άλλων μοντέλων, ακόμη και ατελείς.
Σε τι διαφέρει το MoA από την ψηφοφορία με απλή πλειοψηφία;
Σε αντίθεση με την ψηφοφορία, το MoA δεν επιλέγει μόνο μία υπάρχουσα απάντηση. δημιουργεί μια νέα απόκριση που συνδυάζει τους υποψηφίους.
Γιατί η ποικιλομορφία μεταξύ των μοντέλων που προτείνουν είναι πολύτιμη στο MoA;
Διάφοροι προτείνοντες καλύπτουν περισσότερο έδαφος, δίνοντας στον συγκεντρωτικό ένα πιο πλούσιο σύνολο ιδεών για συγχώνευση και λάθη για φιλτράρισμα.
Ποιο είναι το κύριο πρακτικό κόστος της προσέγγισης του MoA;
Κάθε επίπεδο προσθέτει περισσότερες κλήσεις LLM, έτσι το MoA ανταλλάσσει επιπλέον υπολογισμούς και χρόνο για βελτιωμένη ποιότητα απάντησης.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα