語言人工智慧指南

N 次最佳採樣和重新排序

Best-of-N 是一種推理時間選擇方法:對多個輸出進行取樣並使用評分器或驗證器來選擇一個。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. Best-of-N 取樣與重新排序的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

當模型有時會產生良好的候選者並且評分器可靠地識別它時,它可以改善結果。更多的樣本會花費更多的生成時間,並可能放大不完美的評分者的錯誤。

深入探討

Best-of-N 從模型中取樣 N 個候選響應,並返回在獎勵模型、驗證器或啟發式下得分最高的響應。自我一致性是一種特殊情況,透過多數票總結最終答案。如果每個獨立樣本的成功機率為 p,並且完美的驗證者可以識別成功,則至少一個候選樣本正確的機會為 1−(1−p)^N。真正的輸出不一定是獨立的,真正的得分者也是不完美的。對獎勵模型過度優化的研究發現,針對代理商進行最佳化最終會降低黃金標準性能,包括在「N 中最佳」選擇中。

現實世界的實施

對幾個數學解決方案進行採樣並選擇一個通過驗證者的解決方案

產生候選程式碼並根據單元測試結果對它們進行排名

當多個推理鏈得出相同答案時使用多數投票

將質量收益與額外產生的代幣和記分器成本進行比較

Best-of-N 取樣與重新排序的未來

推理時間擴展研究研究自適應樣本計數、驗證器和獎勵模型校準。正確的 N 取決於任務、樣本品質、評分器可靠性和計算預算。評估應報告所選答案指標和增加的生成/評分成本。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Best-of-N 抽樣和重新排名測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 Best-of-N 採樣和重新排序?

Best-of-N 是一種推理時間選擇方法:對多個輸出進行取樣並使用評分器或驗證器來選擇一個。當模型有時會產生良好的候選者並且評分器可靠地識別它時,它可以改善結果。更多的樣本會花費更多的生成時間,並可能放大不完美的評分者的錯誤。

best-of-N取樣的核心思想是什麼?

Best-of-N 抽取多個候選響應,然後對它們重新排名,以返回得分最高的響應。

N 中最佳何時最有可能提供協助?

只有有時出現好的答案並且評分員能夠識別出來時,更多的候選人才會有所幫助;這兩個條件都沒有得到保證。

是什麼在很大程度上決定了「N 中最佳」是否能夠真正改善結果?

選擇的好壞取決於重新排序的好壞;弱者或有偏見的評分者可能會選擇錯誤的答案。

當 N 變大且獎勵模型是不完美代理時會發生什麼?

研究以最好的 N 種方式衡量獎勵模型的過度優化:選擇極端的代理分數最終會降低黃金獎勵的表現。

哪一種簡單的重新排名策略也稱為自我一致性?

自洽性對許多推理鏈進行取樣,並選擇大多數推理鏈都同意的最終答案。