Συλλογισμός δέντρου των σκέψεων
Το Tree-of-Thoughts επιτρέπει σε ένα μοντέλο να εξερευνά πολλές συλλογιστικές διαδρομές παράλληλα, όπως κλαδιά δέντρου, αντί να δεσμεύεται σε μία γραμμή σκέψης.
Επισκόπηση
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
Βαθιά κατάδυση
Εισήχθη από τους Yao et al. το 2023, το Tree-of-Thoughts (ToT) γενικεύει την προτροπή αλυσίδας σκέψεων. Όπου η αλυσίδα της σκέψης παράγει μια ενιαία γραμμική ακολουθία συλλογιστικών βημάτων, το ToT δομεί το πρόβλημα ως δέντρο: κάθε κόμβος είναι μια μερική λύση (μια «σκέψη») και το μοντέλο δημιουργεί πολλές υποψήφιες επόμενες σκέψεις από κάθε κόμβο. Ένα ξεχωριστό βήμα αξιολόγησης βαθμολογεί πόσο πολλά υποσχόμενος είναι κάθε κλάδος και ένας αλγόριθμος αναζήτησης, όπως η αναζήτηση κατά πλάτος ή κατά βάθος, αποφασίζει ποιους κλάδους θα επεκτείνει και ποιους θα κλαδέψει. Αυτό επιτρέπει στο μοντέλο να εξερευνήσει σκόπιμα, να κοιτάξει μπροστά μερικά βήματα και να κάνει πίσω όταν μια διαδρομή δεν φαίνεται ελπιδοφόρα. Το ToT έλαμψε σε εργασίες που νικούν την άπληστη συλλογιστική μιας διαδρομής, με πιο διάσημο το Game of 24, όπου το GPT-4 με αλυσίδα σκέψης έλυνε περίπου το 4% των γρίφων, αλλά το ToT ώθησε την επιτυχία σε περίπου 74%.
Τεχνική διορατικότητα
Το ToT έχει τρία κομμάτια: μια γεννήτρια σκέψης που προτείνει τα επόμενα βήματα του υποψηφίου, έναν αξιολογητή κατάστασης (συχνά το ίδιο LLM ζητείται να βαθμολογήσει ή να ψηφίσει επί μέρους λύσεις ως "σίγουρες / ίσως / αδύνατες") και μια διαδικασία αναζήτησης (BFS, DFS ή αναζήτηση δέσμης) που περιηγείται στο δέντρο. Επειδή το μοντέλο αξιολογεί μερικές καταστάσεις και κλαδεύει αδύναμα κλαδιά, κατανέμει τον υπολογισμό σε πολλά υποσχόμενες περιοχές του χώρου λύσεων, η διαπραγμάτευση επιπλέον συμπερασμάτων απαιτεί σημαντικά υψηλότερη ακρίβεια σε δύσκολα προβλήματα.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Το μέλλον του συλλογισμού δέντρου των σκέψεων
Το Tree-of-Thoughts επηρεάζει τον τρόπο με τον οποίο ξοδεύεται ο υπολογισμός του χρόνου συμπερασμάτων: αντί για ένα μεγάλο πέρασμα προς τα εμπρός, τα συστήματα αναζητούν όλο και περισσότερο μονοπάτια συλλογισμού και επιλέγουν τα καλύτερα. Η μελλοντική εργασία στοχεύει στο να μάθει πότε η διακλάδωση αξίζει το υψηλό συμβολικό κόστος της, να χρησιμοποιήσει εκπαιδευμένες συναρτήσεις αξίας αντί για αυτοαξιολόγηση βασισμένη σε άμεσες οδηγίες και να αναδιπλώσει την αναζήτηση δέντρων σε μοντέλα συλλογισμού, ώστε η συζήτηση να είναι πιο αποτελεσματική. Αναμένετε στενότερη ενσωμάτωση με εργαλεία και επαληθευτές, ώστε η αξιολόγηση κλάδου να βασίζεται στην πραγματική ανατροφοδότηση και όχι στην εικασία του μοντέλου.
Υλοποίηση σε πραγματικό κόσμο
Επίλυση του Παιχνιδιού του 24 με διακλάδωση του οποίου δύο αριθμοί θα συνδυαστούν πρώτα και κλαδεύοντας αριθμητικά μονοπάτια που δεν μπορούν να φτάσουν το 24.
Δημιουργική γραφή με συνεκτικό σχέδιο, όπου το μοντέλο σχεδιάζει πολλά περιγράμματα πλοκής, τα αξιολογεί και επεκτείνει τα πιο δυνατά πριν γράψει πεζογραφία.
Παζλ περιορισμού όπως τα μίνι σταυρόλεξα, όπου κάθε γεμάτη λέξη είναι μια σκέψη και τα ασυμβίβαστα κλαδιά εγκαταλείπονται.
Προβλήματα μαθηματικών ή προγραμματισμού πολλαπλών βημάτων όπου το μοντέλο διερευνά εναλλακτικά ενδιάμεσα βήματα και οπισθοδρομήσεις από εκείνα που παραβιάζουν περιορισμούς.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tree-of-Thoughts Reasoning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Δέντρο των Σκέψεων
Συχνές ερωτήσεις
What is Tree-of-Thoughts Reasoning?
Το Tree-of-Thoughts επιτρέπει σε ένα μοντέλο να εξερευνά πολλές συλλογιστικές διαδρομές παράλληλα, όπως κλαδιά δέντρου, αντί να δεσμεύεται σε μία γραμμή σκέψης. Μπορεί να κοιτάξει μπροστά, να αξιολογήσει μερικές λύσεις και να υποχωρήσει από αδιέξοδα.
Σε τι διαφέρει το Tree-of-Thoughts από το chain-of-thought prompting;
Το Chain-of-tought παράγει μια ενιαία γραμμική ακολουθία, ενώ το Tree-of-Thoughts διακλαδίζεται σε πολλά υποψήφια μονοπάτια που μπορούν να αξιολογηθούν και να κλαδευτούν.
Στο Tree-of-Thoughts, τι αντιπροσωπεύει συνήθως ένας μεμονωμένος κόμβος;
Κάθε κόμβος είναι μια μερική λύση (μια σκέψη) και το μοντέλο επεκτείνει αρκετές υποψήφιες επόμενες σκέψεις από κάθε κόμβο.
Τι ρόλο παίζει ο αξιολογητής του κράτους στο Tree-of-Thoughts;
Ο αξιολογητής, συχνά το ίδιο LLM, βαθμολογεί ή ψηφίζει σε επιμέρους καταστάσεις (π.χ. βέβαιο/ίσως/αδύνατο), ώστε η αναζήτηση να μπορεί να επικεντρωθεί σε υποσχόμενους κλάδους.
Στο σημείο αναφοράς Game of 24, το ToT ξεπέρασε δραματικά την αλυσίδα σκέψης περίπου με ποιο άλμα;
Το GPT-4 με την αλυσίδα της σκέψης έλυσε περίπου το 4% των παζλ του Game of 24, ενώ το Tree-of-Thoughts έφτασε περίπου το 74%.
Ποιες στρατηγικές αναζήτησης χρησιμοποιούνται συνήθως για την πλοήγηση στο δέντρο σκέψης;
Το ToT συνδυάζει τη δημιουργία και την αξιολόγηση σκέψης με κλασικές διαδικασίες αναζήτησης όπως BFS, DFS ή αναζήτηση δέσμης για να αποφασίσει ποιους κλάδους θα επεκτείνει.