引導式測驗 · 中等 等級
N 次最佳抽樣和重新排名測驗
了解 N 中最佳選擇、評分器限制、推理時間成本以及對更多候選者進行採樣背後的機率假設。
問題 1 的 8
best-of-N取樣的核心思想是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- best-of-N取樣的核心思想是什麼?
- 產生 N 個候選輸出並用評分器選擇最好的一個
- 訓練模型 N 次並平均權重
- 僅使用模型產生的第一個輸出
- 將詞彙量減少到 N 個標記
- N 中最佳何時最有可能提供協助?
- 當每個輸出都一樣好時
- 當模型有時會採樣到正確的候選者並且可靠的驗證者可以識別它時
- 當任務無法評估候選人時
- 當禁用採樣時
- 是什麼在很大程度上決定了「N 中最佳」是否能夠真正改善結果?
- 使用者介面的顏色
- 僅提示的長度
- 評分者或驗證者的品質和穩健性
- 模型的詞彙量大小
- 當 N 變大且獎勵模型是不完美代理時會發生什麼?
- 模型的分詞器被刪除
- 模型忘記了其訓練權重
- 所有候選人變得相同
- 選擇可能有利於利用記分員錯誤並降低真實品質的輸出
- 哪一種簡單的重新排名策略也稱為自我一致性?
- 對抽樣答案進行多數投票
- 選出最長的答案
- 選擇隨機樣本
- 總是取機率最低的輸出
- 是什麼主要推動了 best-of-N 的生成成本?
- 僅詞彙條目數
- 抽樣候選者產生的文字總量
- 使用者介面顏色
- 模型訓練運行次數
- 如果每個獨立樣本以機率 p 成功,並且完美驗證者選擇任何成功,那麼 N 個樣本中至少有一個成功的機會是多少?
- p/N
- N−p
- 1−(1−p)^N
- 1−p^N
- 簡單的 1−(1−p)^N 成功公式需要哪一個假設?
- 每個響應都有不同的長度
- 每個樣本後都會重新訓練模型
- 獎勵模型沒有參數
- 候選樣本是獨立的,驗證者完美認可成功