引導式測驗 · 中等 等級
Pass@k 指標解釋測驗
測試 pass@k 定義、n 個樣本的無偏估計量、pass^k 可靠性以及 pass@k 分數被誤讀或誇大的常見方式。
問題 1 的 8
pass@k 针对单个问题衡量什么?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- pass@k 针对单个问题衡量什么?
- 通过测试的 k 个样本的比例
- k 個採樣嘗試中至少有一個通過測試的機率
- k次微調重試後第一次嘗試通過的機率
- k 次测试中通过的测试数量
- Codex 論文中引入的基準測試 HumanEval 包含哪些內容?
- Python 项目有 2,294 个 GitHub 问题
- 1,000 个 C++ 编程竞赛题
- 164道手寫Python程式問題帶單元測試
- 500 个经过人工验证的错误报告
- 為什麼Codex論文會產生n個樣本,其中n大於k?
- 计算 pass@k 的无偏、低方差估计
- 让模型从样本之间的失败中学习
- 因为测试需要至少 200 个输入
- 使模型的輸出具有確定性
- 當 n 個樣本和 c 個正確時,哪個表達式是無偏 pass@k 估計器?
- c 除以 n
- 1 減 (1 減 c/n) 的 k 次方
- C(c, k) 除以 C(n, k)
- 1 減 C(n 減 c, k) 除以 C(n, k)
- tau 工作台論文中定義的 pass^k 測量什麼?
- k 次試驗中至少有一次成功的機會
- 所有 k 個獨立試驗成功的機會
- k 次试验的平均步数
- k輪自糾後的得分
- 採樣溫度通常如何與 k 相互作用?
- 溫度對 pass@k 沒有影響
- 低溫對每個人來說都是最好的
- 較高的溫度往往有助於在大 k 時通過 @k,因為樣品更加多樣化
- 较高的温度总是会提高 pass@1
- 為什麼高分@100分會誇大現實世界的用處?
- 它假設某些東西已經知道哪個樣本是正確的
- 它只计算第一个样本
- 它忽略單元測試
- 它总是通过贪婪解码来计算
- 如果n = 20個樣本包含c = 18個正確的樣本,那麼pass@5是什麼?
- 0.9
- 約0.5
- 由於 n 太小,無法計算
- 正好 1