概述
它能協助需要有用中間評估的任務,但結果取決於模型、任務、搜尋預算與評估者。
深入探討
Chain-of-thought 提示通常只跟隨單一生成序列,而 Tree of Thoughts 則將問題解決視為對中間狀態的搜尋。系統會提出候選想法、對狀態打分或分類,並使用如廣度優先搜尋等搜尋程序來展開有前景的分支或從死路回溯。原始論文在 24 點遊戲、創意寫作與迷你填字遊戲上評估 ToT。在其 24 點遊戲設定中,GPT-4 以五層廣度搜尋的 ToT 達到 74% 的成功率,對比單一 chain-of-thought 基線僅 4%。此結果僅針對特定模型、提示、基準子集與搜尋預算,並非一般性能保證。ToT 也會使用額外的模型呼叫,且依賴有用的狀態評估。
現實世界的實施
透過探索和修剪許多候選方程,解決 24 人遊戲難題,其中四個數字必須透過算術組合才能達到 24。
在創意寫作任務中,模型起草幾個情節方向,評估連貫性,並發展出最強的一個。
數學證明或多步驟應用題,其中從有缺陷的步驟回溯對於得出正確答案至關重要。
像迷你填字遊戲這樣的約束謎題,模型會測試部分填充並放棄違反線索的分支。
思想之樹的未來
期望樹式審議被吸收到代理系統和「推理」模型中,在推理時為難題分配額外的計算。像思維圖這樣的變體允許合併和重複使用中間結果的路徑,並且學習評估器可以取代基於提示的評分以提高可靠性。更廣泛的趨勢是將推理時間搜尋視為可調旋鈕:花費更多的計算來探索高風險問題的分支,減少簡單問題的計算,從而模糊了提示和計劃之間的界限。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是 Tree of Thoughts?
Tree of Thoughts(ToT)是一種推理時框架,會探索候選推理步驟、評估中間狀態,並在分支之間搜尋。它能協助需要有用中間評估的任務,但結果取決於模型、任務、搜尋預算與評估者。
思想樹與思想鏈提示有何根本差別?
在思想鏈遵循一條線性路徑的情況下,思想樹分支成幾個候選思想,評估它們,並從死胡同回溯。
思想樹系統由哪三個組成部分組成?
ToT 將候選想法的產生器、對部分狀態進行評分的評估器以及用於決定擴展哪些分支的搜尋過程(如 BFS 或 DFS)配對。
在原始 Tree of Thoughts 24 點遊戲實驗中,五層廣度搜尋對其選取測試集的結果為何?
74% 的數字是針對特定 GPT-4 ToT 設定與選取測試樣本報告的,因此不應推廣至所有任務或模型。
思想樹系統通常如何評估部分解決方案?
模型本身通常充當評估器,判斷每條部分路徑的前景如何,以便搜尋可以修剪薄弱分支。
在現有模型上實施思想樹的事實是怎樣的?
ToT 透過提示和搜尋循環來協調模型的現有功能;它不會修改基礎權重。