Дърво на мисли
Tree-of-Thoughts позволява на модела да изследва много пътища на разсъждение успоредно, като клони на дърво, вместо да се ангажира с една линия на мисълта.
Преглед
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
Дълбоко гмуркане
Въведено от Yao et al. през 2023 г. Tree-of-Thoughts (ToT) обобщава подканянето на веригата от мисли. Когато веригата от мисли създава една линейна последователност от стъпки на разсъждение, ToT структурира проблема като дърво: всеки възел е частично решение („мисъл“) и моделът генерира няколко кандидат-следващи мисли от всеки възел. Отделна стъпка за оценка оценява колко обещаващ е всеки клон, а алгоритъм за търсене, като търсене в ширина или първо в дълбочина, решава кои клонове да се разширят и кои да се съкратят. Това позволява на модела умишлено да изследва, да гледа няколко стъпки напред и да се връща назад, когато даден път изглежда необещаващ. ToT блесна със задачи, които побеждават алчното мислене с един път, най-известната Game of 24, където GPT-4 с верига на мисълта решава около 4% от пъзелите, но ToT тласна успеха до приблизително 74%.
Техническа информация
ToT има три части: генератор на мисли, който предлага следващите стъпки на кандидата, оценител на състоянието (често същият LLM подканен да оцени или гласува за частични решения като „сигурно/може би/невъзможно“) и процедура за търсене (BFS, DFS или beam search), която навигира в дървото. Тъй като моделът оценява частични състояния и съкращава слаби разклонения, той разпределя изчисленията към обещаващи региони на пространството за решения, търгувайки с допълнителни изводи за значително по-висока точност при трудни проблеми.
Стратегическо въздействие
Cost and budget
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Clearer decisions
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Quality control
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Бъдещето на разсъжденията чрез дървото на мислите
Дървото на мислите влияе върху това как се изразходва времето за изчисление: вместо едно голямо преминаване напред, системите все повече търсят по пътищата на разсъждение и избират най-доброто. Бъдещата работа има за цел да научи кога разклоняването си заслужава високата символична цена, да използва обучени функции за стойност вместо самооценка, базирана на бърза информация, и да сгъне дървовидното търсене в мотивиращи модели, така че обмислянето да е по-ефективно. Очаквайте по-тясна интеграция с инструменти и верификатори, така че оценката на клона да почива на реална обратна връзка, а не на догадки на модела.
Внедряване в реалния свят
Решаване на Game of 24 чрез разклоняване кои две числа да се комбинират първи и изрязване на аритметични пътища, които не могат да достигнат 24.
Творческо писане със съгласуван план, където моделът чертае няколко сюжетни плана, оценява ги и разширява най-силното, преди да напише проза.
Пъзели с ограничения като мини кръстословици, където всяка запълнена дума е мисъл и несъвместимите клонове са изоставени.
Многоетапни математически или планови проблеми, при които моделът изследва алтернативни междинни стъпки и се връща назад от тези, които нарушават ограниченията.
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Бенчмарк при реалистични условия на натоварване и данни.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tree-of-Thoughts Reasoning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Дърво на мислите
Frequently asked questions
What is Tree-of-Thoughts Reasoning?
Tree-of-Thoughts позволява на модела да изследва много пътища на разсъждение успоредно, като клони на дърво, вместо да се ангажира с една линия на мисълта. Може да гледа напред, да оценява частични решения и да се връща от задънени улици.
Как се различава Дървото на мислите от подканянето чрез верига от мисли?
Веригата на мислите създава една линейна последователност, докато Дървото на мислите се разклонява на много кандидат-пътеки, които могат да бъдат оценени и съкратени.
Какво обикновено представлява един възел в Дървото на мислите?
Всеки възел е частично решение (мисъл) и моделът разширява няколко следващи мисли от всеки възел.
Каква роля играе държавният оценител в Tree-of-Thoughts?
Оценителят, често същият LLM, оценява или гласува за частични състояния (напр. сигурно/може би/невъзможно), така че търсенето да може да се съсредоточи върху обещаващи клонове.
В бенчмарка Game of 24, ToT драматично надмина веригата на мислите с какъв скок?
GPT-4 с верига на мисълта решава около 4% от пъзелите Game of 24, докато Tree-of-Thoughts достига приблизително 74%.
Кои стратегии за търсене обикновено се използват за навигация в дървото на мислите?
ToT съчетава генериране и оценка на мисли с класически процедури за търсене като BFS, DFS или beam search, за да реши кои клонове да разшири.