概述
這是「推理模型」背後的突破,可以透過在回應之前深思熟慮來解決困難的數學和編碼問題。
深入探討
多年來,人工智慧的進步意味著擴展訓練:更多數據、更多參數、更多預訓練計算。測試時計算縮放添加了第二個軸,在推理上花費更多計算。推理模型不是立即給出答案,而是產生一個很長的內在思考鏈,探索步驟、檢查工作和回溯。技術包括擴展思想鏈、對許多候選解決方案進行採樣並選擇最佳解決方案(自洽或 N 中最佳),以及由驗證者或獎勵模型引導的樹式搜尋。 OpenAI 的 o1 和 o3、DeepSeek-R1 和 Claude 的擴展思維普及了這一點:當你讓模型「思考得更久」時,競賽數學和程式設計的準確性會急劇上升,在快速回答失敗的情況下,用延遲和成本來換取問題的正確性成本。
現實世界的實施
OpenAI 的 o1 和 o3 模型逐步思考奧林匹克層級的數學問題,在 AIME 和競賽基準上顯著超越即時答案模型。
DeepSeek-R1 使用強化學習來教導長鏈思維推理,公開展示了額外推理計算帶來的巨大準確性提升。
Claude 的擴展思維模式允許開發人員設定令牌預算,以便模型在回復之前對複雜的編碼或分析任務進行更長時間的推理。
AlphaCode 和類似的系統在測試時對數千個候選程式進行取樣,然後對它們進行過濾和排名以解決競爭性程式設計挑戰。
測試時計算擴展的未來
測試時計算現在是與訓練一起的主要擴展槓桿。預計模型會根據難度來決定思考的難度,透過將長鏈提煉為較短的鏈來進行更便宜的推理,以及將思維與工具呼叫和網路搜尋交織在一起的「代理」循環。隨著推理硬體的改進,深思熟慮的推理將成為科學研究、軟體工程和複雜規劃等高風險任務的預設方式,而快速查找將保持快速且廉價。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是測試時計算擴充?
測試時計算擴展意味著在模型回答問題時給予模型更多的思考時間和計算,而不是僅僅在訓練期間使其更大。這是「推理模型」背後的突破,可以透過在回應之前深思熟慮來解決困難的數學和編碼問題。
「測試時計算」指的是什麼?
測驗時(推理時)計算是產生答案時完成的工作,與預訓練期間使用的計算不同。
在推論時擴展研究中,額外的推論運算可用於什麼?
該研究檢視了推論時策略,包括對候選項目進行取樣、修訂答案以及使用基於過程的獎勵模型來分配運算。
測試時計算擴充的核心權衡是什麼?
讓模型思考更長時間可以提高解決難題的正確性,但會增加回應時間和計算成本。
什麼是「N 次最佳」採樣?
Best-of-N 並行產生多個解決方案嘗試,並使用評分器或驗證器來保留最強的一個,這是測試時間縮放的一種形式。
為什麼測試時計算被視為新的「縮放軸」?
多年來,規模化意味著更大規模的訓練;測試時計算增加了第二種提高能力的方法,即在推理時進行更多計算。