Als nächstesNächster Leitfaden
Baum der Gedanken
Sprach-KI
Technischer Leitfaden
Tree-of-Thoughts ermöglicht es einem Modell, viele Argumentationspfade parallel zu erkunden, wie Äste eines Baumes, anstatt sich auf einen Gedankengang festzulegen.
Es kann nach vorne schauen, Teillösungen bewerten und aus Sackgassen einen Rückzieher machen.
Eingeführt von Yao et al. Im Jahr 2023 verallgemeinert Tree-of-Thoughts (ToT) die Aufforderung zur Gedankenkette. Während die Gedankenkette eine einzelne lineare Folge von Argumentationsschritten erzeugt, strukturiert ToT das Problem als Baum: Jeder Knoten ist eine Teillösung (ein „Gedanke“), und das Modell generiert aus jedem Knoten mehrere mögliche nächste Gedanken. In einem separaten Bewertungsschritt wird bewertet, wie vielversprechend jeder Zweig ist, und ein Suchalgorithmus wie die Breiten- oder Tiefensuche entscheidet, welche Zweige erweitert und welche beschnitten werden sollen. Dadurch kann das Modell gezielt erkunden, ein paar Schritte nach vorne blicken und zurückgehen, wenn ein Weg aussichtslos erscheint. ToT glänzte bei Aufgaben, die gieriges Single-Path-Denken zunichte machen, am bekanntesten ist das Game of 24, bei dem GPT-4 mit Gedankenkette etwa 4 % der Rätsel löste, ToT den Erfolg jedoch auf etwa 74 % steigerte.
Architekturentscheidungen beeinflussen über Jahre hinweg die Leistung und die Betriebskosten.
Technische Schulungen helfen Teams dabei, den richtigen Stack auszuwählen, nicht nur den neuesten.
Bessere technische Entscheidungen reduzieren Zuverlässigkeitsvorfälle in der Produktion.
Tree-of-Thoughts beeinflusst, wie die Inferenzzeit für die Berechnung aufgewendet wird: Anstelle eines großen Vorwärtsdurchlaufs durchsuchen Systeme zunehmend Argumentationspfade und wählen den besten aus. Zukünftige Arbeiten zielen darauf ab, zu lernen, wann sich die Verzweigung lohnt, um trainierte Wertfunktionen anstelle einer auf Eingabeaufforderungen basierenden Selbstbewertung zu verwenden und die Baumsuche in Argumentationsmodelle zu integrieren, damit die Überlegungen effizienter werden. Erwarten Sie eine engere Integration mit Tools und Prüfern, sodass die Zweigbewertung auf echtem Feedback und nicht auf Vermutungen des Modells beruht.
Lösen des 24er-Spiels durch Verzweigung, nach welchen zwei Zahlen zuerst kombiniert werden soll, und Beschneiden von Rechenwegen, die 24 nicht erreichen können.
Kreatives Schreiben mit einem zusammenhängenden Plan, bei dem das Modell mehrere Handlungsstränge entwirft, diese bewertet und die stärksten ausarbeitet, bevor es Prosa schreibt.
Zwangsrätsel wie Mini-Kreuzworträtsel, bei denen jedes ausgefüllte Wort ein Gedanke ist und inkompatible Zweige aufgegeben werden.
Mehrstufige Mathematik- oder Planungsprobleme, bei denen das Modell alternative Zwischenschritte untersucht und von denen zurückgeht, die gegen Einschränkungen verstoßen.
Die Optimierung eines Benchmarks kann umfassendere Systemschwächen verbergen.
Infrastruktur- und Wartungskosten werden oft unterschätzt.
Sicherheits- und Beobachtbarkeitslücken können größer werden, wenn die Systeme komplexer werden.
Definieren Sie vor der Implementierung Latenz-, Qualitäts- und Kostenziele.
Benchmark unter realistischen Last- und Datenbedingungen.
Instrumentenüberwachung auf Fehler, Drift und Benutzereinflüsse.
Bereiten Sie vor der Skalierung Rollback- und Incident-Response-Pfade vor.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Tree-of-Thoughts ermöglicht es einem Modell, viele Argumentationspfade parallel zu erkunden, wie Äste eines Baumes, anstatt sich auf einen Gedankengang festzulegen. Es kann nach vorne schauen, Teillösungen bewerten und aus Sackgassen einen Rückzieher machen.
Chain-of-Thoughts erzeugt eine einzelne lineare Sequenz, während Tree-of-Thoughts in viele Kandidatenpfade verzweigt, die bewertet und beschnitten werden können.
Jeder Knoten ist eine Teillösung (ein Gedanke), und das Modell erweitert mehrere mögliche nächste Gedanken von jedem Knoten.
Der Bewerter, oft derselbe LLM, bewertet oder stimmt über Teilzustände ab (z. B. sicher/vielleicht/unmöglich), damit sich die Suche auf vielversprechende Zweige konzentrieren kann.
GPT-4 mit Chain-of-Thought löste etwa 4 % der Game of 24-Rätsel, während Tree-of-Thoughts etwa 74 % erreichte.
ToT kombiniert Gedankengenerierung und -bewertung mit klassischen Suchverfahren wie BFS, DFS oder Beam Search, um zu entscheiden, welche Zweige erweitert werden sollen.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Baum der Gedanken
Sprach-KI