Boom-van-gedachten redeneren
Met Tree-of-Thoughts kan een model vele redeneerpaden parallel verkennen, zoals takken van een boom, in plaats van zich aan één gedachtegang te houden.
Overzicht
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
Diepe duik
Geïntroduceerd door Yao et al. in 2023 generaliseert Tree-of-Thoughts (ToT) de gedachteketen. Waar de gedachteketen één enkele lineaire reeks redeneerstappen oplevert, structureert ToT het probleem als een boom: elk knooppunt is een gedeeltelijke oplossing (een 'gedachte'), en het model genereert vanuit elk knooppunt verschillende mogelijke volgende gedachten. Een afzonderlijke evaluatiestap beoordeelt hoe veelbelovend elke tak is, en een zoekalgoritme zoals eerst in de breedte of eerst in de diepte beslissen welke takken moeten worden uitgebreid en welke moeten worden gesnoeid. Hierdoor kan het model doelbewust verkennen, een paar stappen vooruit kijken en teruggaan als een pad er niet veelbelovend uitziet. ToT schitterde met taken die de hebzuchtige eenrichtingsredenering verslaan, het meest bekende de Game of 24, waar GPT-4 met gedachteketen ongeveer 4% van de puzzels oploste, maar ToT het succes naar ongeveer 74% duwde.
Technisch inzicht
ToT bestaat uit drie delen: een gedachtengenerator die de volgende stappen voor kandidaten voorstelt, een statusbeoordelaar (vaak dezelfde LLM die wordt gevraagd om deeloplossingen te beoordelen of te stemmen als 'zeker / misschien / onmogelijk') en een zoekprocedure (BFS, DFS of beam search) die door de boom navigeert. Omdat het model gedeeltelijke toestanden evalueert en zwakke takken snoeit, wijst het rekenkracht toe aan veelbelovende regio's van de oplossingsruimte. Het verhandelen van extra gevolgtrekkingen vereist een aanzienlijk hogere nauwkeurigheid bij moeilijke problemen.
Strategische impact
Cost and budget
Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
Clearer decisions
Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
Quality control
Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
De toekomst van redeneren met een boom-van-gedachten
Tree-of-Thoughts beïnvloedt hoe de inferentietijd wordt besteed: in plaats van één grote voorwaartse stap, zoeken systemen steeds meer redeneerpaden af en kiezen ze de beste. Toekomstig werk is erop gericht om te leren wanneer vertakkingen de hoge symbolische kosten waard zijn, om getrainde waardefuncties te gebruiken in plaats van op prompts gebaseerde zelfevaluatie, en om het zoeken naar bomen in redeneermodellen op te nemen, zodat de afweging efficiënter is. Verwacht een nauwere integratie met tools en verificateurs, zodat de evaluatie van vestigingen berust op echte feedback in plaats van op het giswerk van het model.
Implementatie in de echte wereld
Het spel van 24 oplossen door te vertakken welke twee getallen als eerste moeten worden gecombineerd en rekenkundige paden te snoeien die 24 niet kunnen bereiken.
Creatief schrijven met een samenhangend plan, waarbij het model verschillende plotcontouren opstelt, evalueert en het sterkst uitbreidt voordat het proza wordt geschreven.
Beperkingspuzzels zoals mini-kruiswoordraadsels, waarbij elk gevuld woord een gedachte is en incompatibele takken worden verlaten.
Wiskunde- of planningsproblemen met meerdere stappen waarbij het model alternatieve tussenstappen onderzoekt en teruggaat naar stappen die beperkingen schenden.
Risico's en vangrails
Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
Infrastructuur- en onderhoudskosten worden vaak onderschat.
De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Implementatie routekaart
Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
Benchmark onder realistische belasting- en gegevensomstandigheden.
Instrumentbewaking op fouten, drift en gebruikersimpact.
Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tree-of-Thoughts Reasoning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Boom van gedachten
Frequently asked questions
What is Tree-of-Thoughts Reasoning?
Met Tree-of-Thoughts kan een model vele redeneerpaden parallel verkennen, zoals takken van een boom, in plaats van zich aan één gedachtegang te houden. Het kan vooruitkijken, deeloplossingen evalueren en een stap terug doen na doodlopende wegen.
Hoe verschilt Tree-of-Thoughts van gedachteketenprompts?
De gedachteketen produceert één enkele lineaire reeks, terwijl de Boom-van-Gedachten zich vertakt in vele kandidaatpaden die kunnen worden geëvalueerd en gesnoeid.
Wat vertegenwoordigt een enkel knooppunt in Tree-of-Thoughts doorgaans?
Elk knooppunt is een gedeeltelijke oplossing (een gedachte), en het model breidt vanuit elk knooppunt verschillende mogelijke volgende gedachten uit.
Welke rol speelt de staatsbeoordelaar in Tree-of-Thoughts?
De beoordelaar, vaak dezelfde LLM, beoordeelt of stemt op gedeeltelijke toestanden (bijvoorbeeld zeker/misschien/onmogelijk), zodat de zoektocht zich kan concentreren op veelbelovende takken.
Op de Game of 24-benchmark presteerde ToT dramatisch beter dan de gedachteketen, ongeveer met welke sprong?
GPT-4 met gedachteketen loste ongeveer 4% van de Game of 24-puzzels op, terwijl Tree-of-Thoughts ongeveer 74% bereikte.
Welke zoekstrategieën worden vaak gebruikt om door de gedachteboom te navigeren?
ToT combineert het genereren en evalueren van gedachten met klassieke zoekprocedures zoals BFS, DFS of beam search om te beslissen welke takken moeten worden uitgebreid.