Il prossimoProssima guida
Albero dei pensieri
Intelligenza artificiale linguistica
GUIDA TECNICA
L'albero dei pensieri consente a un modello di esplorare molti percorsi di ragionamento in parallelo, come i rami di un albero, invece di impegnarsi in una linea di pensiero.
Ascolta questa guidaNarrato dall'IA · ~2 min
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
Introdotto da Yao et al. nel 2023, l'Albero dei Pensieri (ToT) generalizza la stimolazione della catena di pensiero. Laddove la catena di pensiero produce un'unica sequenza lineare di passaggi di ragionamento, ToT struttura il problema come un albero: ogni nodo è una soluzione parziale (un "pensiero") e il modello genera diversi pensieri successivi candidati da ciascun nodo. Una fase di valutazione separata valuta la promettenza di ciascun ramo e un algoritmo di ricerca come la ricerca in ampiezza o in profondità decide quali rami espandere e quali eliminare. Ciò consente al modello di esplorare deliberatamente, guardare avanti di qualche passo e tornare indietro quando un percorso sembra poco promettente. ToT ha brillato in compiti che sconfiggono l'avido ragionamento a percorso singolo, il più famoso è il Gioco dei 24, dove GPT-4 con catena di pensiero ha risolto circa il 4% degli enigmi ma ToT ha spinto il successo a circa il 74%.
Risolvere il gioco del 24 ramificandosi su quali due numeri combinare per primi e potando i percorsi aritmetici che non possono raggiungere 24.
Scrittura creativa con un piano coerente, in cui il modello elabora diversi schemi di trama, li valuta ed espande quelli più forti prima di scrivere in prosa.
Enigmi vincolanti come mini cruciverba, in cui ogni parola riempita è un pensiero e i rami incompatibili vengono abbandonati.
Problemi di matematica o pianificazione a più passaggi in cui il modello esplora passaggi intermedi alternativi e torna indietro rispetto a quelli che violano i vincoli.
L'albero dei pensieri sta influenzando il modo in cui viene impiegato il tempo di calcolo dell'inferenza: anziché un grande passo in avanti, i sistemi cercano sempre più percorsi di ragionamento e scelgono il migliore. Il lavoro futuro mira a capire quando la ramificazione vale il suo alto costo simbolico, a utilizzare funzioni di valore addestrate invece di autovalutazione basata su prompt e a ripiegare la ricerca sugli alberi in modelli di ragionamento in modo che la deliberazione sia più efficiente. Aspettatevi un'integrazione più stretta con strumenti e verificatori in modo che la valutazione delle filiali si basi su feedback reali piuttosto che su congetture del modello.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'albero dei pensieri consente a un modello di esplorare molti percorsi di ragionamento in parallelo, come i rami di un albero, invece di impegnarsi in una linea di pensiero. Può guardare avanti, valutare soluzioni parziali e fare marcia indietro rispetto ai vicoli ciechi.
La catena di pensiero produce un'unica sequenza lineare, mentre l'albero dei pensieri si ramifica in molti percorsi candidati che possono essere valutati e potati.
Ogni nodo è una soluzione parziale (un pensiero) e il modello espande diversi pensieri successivi candidati da ciascun nodo.
Il valutatore, spesso lo stesso LLM, valuta o vota su stati parziali (ad esempio, sicuro/forse/impossibile) in modo che la ricerca possa concentrarsi su rami promettenti.
GPT-4 con catena di pensiero ha risolto circa il 4% dei puzzle di Game of 24, mentre Tree-of-Thoughts ha raggiunto circa il 74%.
ToT abbina la generazione e la valutazione del pensiero con procedure di ricerca classiche come BFS, DFS o ricerca del raggio per decidere quali rami espandere.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Albero dei pensieri
Intelligenza artificiale linguistica