概述
當模型有時會產生良好的候選者並且評分器可靠地識別它時,它可以改善結果。更多的樣本會花費更多的生成時間,並可能放大不完美的評分者的錯誤。
深入探討
Best-of-N 從模型中取樣 N 個候選響應,並返回在獎勵模型、驗證器或啟發式下得分最高的響應。自我一致性是一種特殊情況,透過多數票總結最終答案。如果每個獨立樣本的成功機率為 p,並且完美的驗證者可以識別成功,則至少一個候選樣本正確的機會為 1−(1−p)^N。真正的輸出不一定是獨立的,真正的得分者也是不完美的。對獎勵模型過度優化的研究發現,針對代理商進行最佳化最終會降低黃金標準性能,包括在「N 中最佳」選擇中。
現實世界的實施
對幾個數學解決方案進行採樣並選擇一個通過驗證者的解決方案
產生候選程式碼並根據單元測試結果對它們進行排名
當多個推理鏈得出相同答案時使用多數投票
將質量收益與額外產生的代幣和記分器成本進行比較
Best-of-N 取樣與重新排序的未來
推理時間擴展研究研究自適應樣本計數、驗證器和獎勵模型校準。正確的 N 取決於任務、樣本品質、評分器可靠性和計算預算。評估應報告所選答案指標和增加的生成/評分成本。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是 Best-of-N 採樣和重新排序?
Best-of-N 是一種推理時間選擇方法:對多個輸出進行取樣並使用評分器或驗證器來選擇一個。當模型有時會產生良好的候選者並且評分器可靠地識別它時,它可以改善結果。更多的樣本會花費更多的生成時間,並可能放大不完美的評分者的錯誤。
best-of-N取樣的核心思想是什麼?
Best-of-N 抽取多個候選響應,然後對它們重新排名,以返回得分最高的響應。
N 中最佳何時最有可能提供協助?
只有有時出現好的答案並且評分員能夠識別出來時,更多的候選人才會有所幫助;這兩個條件都沒有得到保證。
是什麼在很大程度上決定了「N 中最佳」是否能夠真正改善結果?
選擇的好壞取決於重新排序的好壞;弱者或有偏見的評分者可能會選擇錯誤的答案。
當 N 變大且獎勵模型是不完美代理時會發生什麼?
研究以最好的 N 種方式衡量獎勵模型的過度優化:選擇極端的代理分數最終會降低黃金獎勵的表現。
哪一種簡單的重新排名策略也稱為自我一致性?
自洽性對許多推理鏈進行取樣,並選擇大多數推理鏈都同意的最終答案。