Преглед
Graph-of-Thoughts моделира разсъжденията като мрежа, в която мислите могат да се сливат, зациклят и свързват свободно, а не само да се разклоняват. Това позволява на модела да комбинира прозрения от различни пътища и да ги прецизира, надхвърляйки стриктно дървовидната структура на Tree-of-Thoughts.
Graph-of-Thoughts Reasoning е технически градивен елемент, който влияе върху качеството на модела, цената на инфраструктурата, латентността и надеждността в мащаб.
Дълбоко гмуркане
Предложено от Besta et al. през 2023 г. Graph-of-Thoughts (GoT) представя процеса на разсъждение като произволен график: възлите са мисли (частични решения), а ръбовете са зависимости между тях. За разлика от дървото, където всяка мисъл има точно един родител, графиката позволява операции, които дървото не може: агрегиране, при което няколко мисли се обединяват в едно комбинирано решение, и усъвършенстване, при което една мисъл се връща обратно, за да се подобри. Това е мощно за проблеми, които се разлагат на подпроблеми, чиито отговори трябва да бъдат повторно комбинирани. За сортиране и задаване на задачи GoT може да раздели списък, да реши частите независимо и да обедини сортираните части. Авторите съобщават, че GoT подобрява качеството на сортиране в сравнение с Tree-of-Thoughts, като същевременно намалява разходите, тъй като сливането използва по-добре междинните резултати. Контролер, график на „графика на операциите“ и модул за точкуване/класиране организират кои трансформации да се изпълняват.
Техническа информация
Ключовата абстракция на GoT е да третира мислите като графика и стъпките на разсъждение като трансформации на графики: генерирането добавя нови мисловни възли, агрегирането обединява множество възли в едно (с входящи ръбове от всеки източник), а усъвършенстването създава самостоятелен цикъл, който преразглежда мисъл. Функция за оценяване и класиране избира най-добрите мисли, които да се запазят, докато контролерът изпълнява предварително дефинирана графика от операции. Тази способност за сливане е точно това, което едно строго дърво родител-дете не може да изрази, и това е, което позволява комбиниране и повторно комбиниране на частични решения.
Овладяване на разсъжденията на графиката на мислите
Graph-of-Thoughts моделира разсъжденията като мрежа, в която мислите могат да се сливат, зациклят и свързват свободно, а не само да се разклоняват. Това позволява на модела да комбинира прозрения от различни пътища и да ги прецизира, надхвърляйки стриктно дървовидната структура на Tree-of-Thoughts. Graph-of-Thoughts Reasoning е технически градивен елемент, който влияе върху качеството на модела, цената на инфраструктурата, латентността и надеждността в мащаб. За да изградите дълбоко разбиране, третирайте Graph-of-Thoughts Reasoning като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи Graph-of-Thoughts Reasoning, оптимизират избора на архитектура, данни и инфраструктура спрямо надеждността и разходите. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години. В същото време оптимизирането на един бенчмарк може да скрие по-широки системни слабости. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Сортиране на дълъг списък чрез разделянето му на части, сортиране на всяка част поотделно, след което агрегиране на сортираните части в един подреден резултат.
Резюмиране на документи, при което се генерират частични резюмета на раздели и след това се обединяват в последователно цяло.
Задайте операции като преброяване на ключови думи или пресичане, където подрезултатите се комбинират чрез възли за агрегиране.
Итеративно усъвършенстване на генерирано решение чрез връщане на мисълта назад през стъпка на усъвършенстване, докато неговият качествен рейтинг спре да се подобрява.
Модели на изпълнение
Graph-of-Thoughts Reasoning на практика
Сортиране на дълъг списък чрез разделянето му на части, сортиране на всяка част поотделно, след което агрегиране на сортираните части в един подреден резултат.
Сортиране на дълъг списък чрез разделянето му на части, сортиране на всяка част поотделно, след което агрегиране на сортираните части в един подреден резултат Екипите обикновено получават по-добри резултати, когато дефинират праговете за качество отпред, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Graph-of-Thoughts Reasoning на практика
Резюмиране на документи, при което се генерират частични резюмета на раздели и след това се обединяват в последователно цяло.
Резюмиране на документи, при което се генерират частични резюмета на раздели и след това се обединяват в съгласувано цяло. Екипите обикновено получават по-добри резултати, когато дефинират предварително прагове за качество, поддържат човешки път за ескалация за екстремни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Graph-of-Thoughts Reasoning на практика
Задайте операции като преброяване на ключови думи или пресичане, където подрезултатите се комбинират чрез възли за агрегиране.
Задаване на операции като преброяване на ключови думи или пресичане, където подрезултатите се комбинират чрез възли за агрегиране. Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Graph-of-Thoughts Reasoning на практика
Итеративно усъвършенстване на генерирано решение чрез връщане на мисълта назад през стъпка на усъвършенстване, докато неговият качествен рейтинг спре да се подобрява.
Итеративно усъвършенстване на генерирано решение чрез връщане на мисълта обратно през стъпка на усъвършенстване, докато неговият качествен рейтинг спре да се подобрява Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Определете целите за латентност, качество и разходи преди внедряването. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Бенчмарк при реалистични условия на натоварване и данни.
Бенчмарк при реалистични условия на натоварване и данни. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.