Дерево думок
Дерево думок дозволяє моделі досліджувати багато шляхів міркування паралельно, як гілки дерева, замість того, щоб зосереджуватися на одній лінії думки.
Огляд
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
Глибоке занурення
Введено Яо та ін. у 2023 році Tree-of-Thoughts (ToT) узагальнює підказки ланцюга думок. Якщо ланцюг думок створює одну лінійну послідовність кроків міркування, ToT структурує проблему як дерево: кожен вузол є частковим рішенням («думка»), а модель генерує кілька наступних думок з кожного вузла. Окремий крок оцінювання оцінює, наскільки перспективною є кожна гілка, а алгоритм пошуку, як-от пошук у ширину або в глибину, вирішує, які гілки розширити, а які скоротити. Це дозволяє моделі навмисно досліджувати, дивитися вперед на кілька кроків і повертатися назад, коли шлях виглядає безперспективним. ToT блищав у завданнях, які перемагають жадібні одношляхові міркування, найвідоміша Game of 24, де GPT-4 із ланцюжком думок розв’язував близько 4% головоломок, але ToT збільшив успіх приблизно до 74%.
Технічне розуміння
ToT має три частини: генератор думок, який пропонує наступні кроки кандидата, оцінювач стану (часто той самий магістр права, якому пропонується оцінити або проголосувати за часткові рішення як «впевнено/можливо/неможливо») та процедуру пошуку (BFS, DFS або пошук за променем), яка переміщається по дереву. Оскільки модель оцінює часткові стани та відсікає слабкі гілки, вона розподіляє обчислення на багатообіцяючі області простору рішень, обмінюючи додаткові запити висновку на значно вищу точність складних проблем.
Стратегічний вплив
Вартість і бюджет
Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
Чіткіші рішення
Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
Контроль якості
Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Майбутнє міркування за допомогою дерева думок
Дерево думок впливає на те, як витрачається час на обчислення: замість одного великого проходу вперед системи все частіше шукають шляхи міркування та вибирають найкращі. Майбутня робота має на меті дізнатися, коли розгалуження варте своєї символічної вартості, використовувати навчені функції значення замість швидкої самооцінки, а також згортати пошук по дереву в моделі міркувань, щоб обговорення було ефективнішим. Очікуйте більш тісної інтеграції з інструментами та верифікаторами, щоб оцінка гілок базувалася на реальних відгуках, а не на припущеннях моделі.
Реалізація в реальному світі
Розв’язування гри 24 шляхом розгалуження, які два числа об’єднати першими, і скорочення арифметичних шляхів, які не можуть досягти 24.
Творче письмо зі зв’язним планом, де модель складає кілька сюжетних планів, оцінює їх і розгортає найсильніші перед написанням прози.
Обмежувальні головоломки, такі як міні-кросворди, де кожне заповнене слово є думкою, а несумісні гілки залишені.
Багатоетапні математичні або планові задачі, де модель досліджує альтернативні проміжні кроки та повертається від тих, які порушують обмеження.
Ризики та огорожі
Оптимізація одного тесту може приховати ширші слабкі сторони системи.
Витрати на інфраструктуру та обслуговування часто недооцінюються.
Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Дорожня карта впровадження
Визначте цільові показники затримки, якості та вартості перед впровадженням.
Тест за реалістичних умов навантаження та даних.
Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tree-of-Thoughts Reasoning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Дерево думок
Часті запитання
What is Tree-of-Thoughts Reasoning?
Дерево думок дозволяє моделі досліджувати багато шляхів міркування паралельно, як гілки дерева, замість того, щоб зосереджуватися на одній лінії думки. Він може дивитися вперед, оцінювати часткові рішення та повертатися з глухого кута.
Чим «Дерево думок» відрізняється від підказок за ланцюгом думок?
Ланцюг думок створює єдину лінійну послідовність, тоді як дерево думок розгалужується на багато шляхів-кандидатів, які можна оцінити та скоротити.
Що зазвичай представляє окремий вузол у «Дереві думок»?
Кожен вузол є частковим рішенням (думкою), і модель розширює кілька потенційних наступних думок з кожного вузла.
Яку роль відіграє державний оцінювач у «Дереві думок»?
Оцінювач, часто той самий LLM, оцінює або голосує за часткові стани (наприклад, звичайно/можливо/неможливо), щоб пошук міг зосередитися на перспективних галузях.
У тесті Game of 24 ToT різко перевершив ланцюг думок приблизно на який стрибок?
GPT-4 із ланцюгом думок розв’язав близько 4% головоломок «Game of 24», тоді як «Дерево думок» досягло приблизно 74%.
Які стратегії пошуку зазвичай використовуються для навігації по дереву думок?
ToT поєднує створення й оцінку думок із класичними процедурами пошуку, такими як BFS, DFS або пошук за променем, щоб вирішити, які гілки розширити.