概述
計劃與解決 (PS) 提示告訴語言模型首先設計一個明確的計劃，然後逐步執行它，修復簡單的「讓我們一步一步思考」提示留下的失敗。這是一個簡單的提示調整，無需任何額外的培訓即可有意義地增強多步驟推理。
規劃和解決提示是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。
深入探討
Lei Wang 及其同事在 2023 年的 ACL 論文中介紹，計劃與解決提示是針對零樣本思維鏈中特定弱點的回應：模型經常跳過步驟、錯誤計算或誤讀問題。 PS 將單一指令「讓我們一步一步思考」替換為由兩部分組成的指令：「讓我們先了解問題並製定解決方案」。那麼，我們就按照計畫一步一步解決問題吧。增強版 PS+ 增加了提取相關變數、計算中間結果和注意力數字的提醒。在 GSM8K 和 SVAMP 等基準測試中，PS+ 透過少量的思考鏈縮小了大部分差距，同時不需要提示中的有效範例。
技術洞察
該機制純粹是在提示中：透過在執行前詢問計劃，PS 會改變模型的自回歸生成，因此它首先產生高級子目標，然後條件化隨後的詳細推理標記。這種分離減少了「遺漏步驟」和計算錯誤。 PS+ 透過明確命名變數和中間量來進一步引導注意力，充當自行生成的支架，而不是依賴手寫的範例。
掌握計劃和解決提示
計劃與解決 (PS) 提示告訴語言模型首先設計一個明確的計劃，然後逐步執行它，修復簡單的「讓我們一步一步思考」提示留下的失敗。這是一個簡單的提示調整，無需任何額外的培訓即可有意義地增強多步驟推理。規劃和解決提示是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。為了建立深入的理解，請將計劃和解決提示視為一種操作模型，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，強大的團隊使用計劃和解決提示來根據可靠性和成本優化架構、資料和基礎設施選擇。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
多年來，架構決策決定著效能和營運成本。同時，優化一個基準測試可以隱藏更廣泛的系統弱點。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
多年來，架構決策決定著效能和營運成本。
多年來，架構決策決定著效能和營運成本。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
更好的工程選擇可以減少生產中的可靠性事故。
更好的工程選擇可以減少生產中的可靠性事故。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
解決多步驟小學數學應用題 (GSM8K)，其中模型首先列出數量，然後按順序計算它們。
在編寫任何實現程式碼之前指導編碼助理概述功能和邊緣情況。
建立客戶支援代理，先確定使用者的根本目標，然後依序解決解決步驟。
將複雜的資料分析請求分解為「規劃查詢」和「運行並組合結果」階段。
實施模式
實踐中的計劃和解決提示
解決多步驟小學數學應用題 (GSM8K)，其中模型首先列出數量，然後按順序計算它們。
解決多步驟小學數學應用題 (GSM8K)，其中模型首先列出數量，然後按順序計算它們。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
實踐中的計劃和解決提示
在編寫任何實現程式碼之前指導編碼助理概述功能和邊緣情況。
在編寫任何實施程式碼之前指導編碼助理概述功能和邊緣情況當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
實踐中的計劃和解決提示
建立客戶支援代理，先確定使用者的根本目標，然後依序解決解決步驟。
建立客戶支援代理，首先確定使用者的根本目標，然後對解決步驟進行排序。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
實踐中的計劃和解決提示
將複雜的資料分析請求分解為「規劃查詢」和「運行並組合結果」階段。
將複雜的資料分析請求分解為“規劃查詢”，然後是“運行並組合結果”階段。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實施之前定義延遲、品質和成本目標。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在實際負載和資料條件下進行基準測試。
在實際負載和資料條件下進行基準測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
儀器監控錯誤、漂移和使用者影響。
儀器監控錯誤、漂移和使用者影響。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在擴展之前準備回滾和事件回應路徑。
在擴展之前準備回滾和事件回應路徑。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。