Gondolatok fája okoskodás
A Gondolatok fája lehetővé teszi, hogy a modell párhuzamosan számos érvelési utat fedezzen fel, mint egy fa ágait, ahelyett, hogy egyetlen gondolatmenet mellett kötelezné el magát.
Áttekintés
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
Mély merülés
Yao és munkatársai vezették be. 2023-ban a Tree-of-thoughts (ToT) általánosítja a gondolati láncra késztetést. Ahol a gondolati lánc egyetlen lineáris érvelési lépéssorozatot hoz létre, a ToT a problémát faként strukturálja: minden csomópont egy részmegoldás („gondolat”), és a modell minden csomópontból több lehetséges következő gondolatot generál. Egy külön kiértékelési lépésben pontozzák, hogy az egyes ágak mennyire ígéretesek, és egy keresési algoritmus, például a szélesség-első vagy mélység-első keresés eldönti, hogy mely ágakat kell bővíteni és melyeket metszeni. Ez lehetővé teszi a modell számára, hogy szándékosan felfedezze, néhány lépéssel előre tekintsen, és visszalépjen, ha egy út kilátástalannak tűnik. A ToT azokon a feladatokon ragyogott, amelyek legyőzik a mohó egyútvonalas érvelést, leghíresebb a Game of 24, ahol a GPT-4 gondolatlánccal a feladványok körülbelül 4%-át oldotta meg, de a ToT nagyjából 74%-ra növelte a sikert.
Technikai betekintés
A ToT három részből áll: egy gondolatgenerátor, amely javaslatot tesz a következő lépésekre, egy állapotértékelő (gyakran ugyanaz az LLM kéri, hogy „biztos / talán / lehetetlen”-ként értékelje vagy szavazzon részmegoldásokat), és egy keresési eljárás (BFS, DFS vagy sugárkeresés), amely a fában navigál. Mivel a modell kiértékeli a részleges állapotokat és levágja a gyenge ágakat, a számításokat a megoldási tér ígéretes régióihoz rendeli hozzá, a többletkövetkeztetések kereskedelme lényegesen nagyobb pontosságot igényel a nehéz problémák esetén.
Stratégiai hatás
Költség és költségvetés
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
Tisztább döntések
A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
Minőségellenőrzés
A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.
A gondolatfákon alapuló érvelés jövője
A gondolatok fája befolyásolja a következtetési idő számításának elköltését: egyetlen nagy előrelépés helyett a rendszerek egyre inkább az érvelési útvonalakat keresik, és a legjobbat választják. A jövőbeni munka célja annak megtanulása, hogy az elágazás mikor éri meg a magas jelképes költségét, hogy a prompt alapú önértékelés helyett betanított értékfüggvényeket alkalmazzanak, és a fakeresést érvelési modellekké hajtsák be, hogy a mérlegelés hatékonyabb legyen. Az eszközökkel és ellenőrzőkkel való szorosabb integrációra számítson, így az ágazati értékelés valódi visszajelzéseken, nem pedig a modell találgatásán nyugszik.
Valós megvalósítás
A 24-es játék megoldása elágazással, amelyen két szám elsőként kombinálható, és olyan számtani utak lemetszésével, amelyek nem érhetik el a 24-et.
Kreatív írás koherens tervvel, ahol a modell több cselekményvázlatot vázol, ezeket értékeli, és a prózaírás előtt a legerősebben bővíti.
A kényszerrejtvények, például a mini keresztrejtvények, ahol minden kitöltött szó egy gondolat, és az összeférhetetlen ágakat elhagyják.
Többlépcsős matematikai vagy tervezési problémák, ahol a modell alternatív közbenső lépéseket tár fel, és visszalép azoktól, amelyek megsértik a korlátokat.
Kockázatok és védőkorlátok
Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.
Végrehajtási ütemterv
Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
Benchmark reális terhelési és adatviszonyok mellett.
Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tree-of-Thoughts Reasoning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Gondolatok fája
Gyakran ismételt kérdések
What is Tree-of-Thoughts Reasoning?
A Gondolatok fája lehetővé teszi, hogy a modell párhuzamosan számos érvelési utat fedezzen fel, mint egy fa ágait, ahelyett, hogy egyetlen gondolatmenet mellett kötelezné el magát. Előretekinthet, részmegoldásokat értékelhet, és kihátrálhat a zsákutcákból.
Miben különbözik a gondolatok fája a gondolati láncra késztetéstől?
A gondolati lánc egyetlen lineáris sorozatot hoz létre, míg a Gondolatfa számos jelölt útvonalra ágazik, amelyek kiértékelhetők és levághatók.
A Gondolatok fájában mit jelképez általában egyetlen csomópont?
Minden csomópont egy részmegoldás (egy gondolat), és a modell több lehetséges következő gondolatot bővít ki minden csomópontból.
Milyen szerepet játszik az állami értékelő a Gondolatok fájában?
Az értékelő, gyakran ugyanaz az LLM, részállapotokra értékel vagy szavaz (pl. biztos/talán/lehetetlen), így a keresés az ígéretes ágakra koncentrálhat.
A Game of 24 benchmarkon a ToT drasztikusan felülmúlta a gondolatláncot, nagyjából milyen ugrással?
A gondolatlánccal rendelkező GPT-4 a 24-es játék körülbelül 4%-át oldotta meg, míg a Gondolatok fája nagyjából 74%-ot ért el.
Milyen keresési stratégiákat használnak általában a gondolatfán való navigáláshoz?
A ToT a gondolatgenerálást és a kiértékelést olyan klasszikus keresési eljárásokkal párosítja, mint a BFS, DFS vagy sugárkeresés, hogy eldöntse, mely ágakat kívánja bővíteni.