概述
它們很重要,因為抽象往往勝過直接深入細節。
深入探討
這是 2023 年用於改進推理的兩項相關的 Google 研究技術。 Yasunaga 及其同事的類比提示要求模型在解決目標問題之前自動產生一些相關的範例、它已經有效看到的類似問題及其解決方案,從而消除了手寫範例的需要。鄭和同事的後退提示首先提出一個抽象問題(「什麼一般原則或事實支配著這個?」),檢索或推理該原則,然後將其應用於具體問題。兩者都使模型遠離過早的細節。 Step-Back 顯示了在物理和化學問題以及多跳推理方面的進步,同時透過針對每個特定問題自訂範例,類比提示改進了數學和程式碼生成。
現實世界的實施
回答物理問題時,先透過後退一步陳述相關定律(例如牛頓第二定律),然後再代入數字
透過類比提示讓模型回憶幾個相似的已解決問題來解決新的數學問題
在連結事實之前,透過退回到更廣泛的類別或實體來解決多跳瑣事問題
透過自生成類似演算法及其解決方案來產生程式碼,然後使其適應當前任務
類比提示和後退提示的未來
期望這些抽象優先的模式與檢索系統結合,在檢索系統中,後退原則成為對知識庫的精確查詢,並與在戰術之前推理策略的代理規劃器相結合。當自我產生的類比有幫助時,與引入不相關或錯誤的例子時相比,研究正在完善,並將後退與驗證相結合,以便在建立嚴格推理之前檢查所選擇的原則。它們很可能是推理調整模型中的預設值。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是類比提示和後退提示?
類比提示和後退提示都首先引導模型進行更高層次的推理:類比提示讓它回憶起類似的已解決問題,而後退提示則讓它在解決具體問題之前推導出基本原理。它們很重要,因為抽象往往勝過直接深入細節。
在解決目標問題之前,類比提示要求模型做什麼?
類比提示使模型根據問題產生自己的相關範例和解決方案。
後退提示的第一步是什麼?
後退首先提出一個抽象問題,以揭示控制問題的原則或事實。
為什麼將答案建立在既定原則(後退)的基礎上會有幫助?
首先闡述指導原則,指導約束具體步驟,降低出錯的機會。
後退提示在哪些類型的任務上顯示出顯著的效果?
Step-Back 透過先進行抽象,提升了科學問題和多跳推理的表現。
類比提示的顯著風險是什麼?
由於模型發明了自己的類比,因此這些範例有時可能是無關緊要或不正確的,損害了答案。