引導式測驗 · 中等 等級

Pass@k 指標解釋測驗

測試 pass@k 定義、n 個樣本的無偏估計量、pass^k 可靠性以及 pass@k 分數被誤讀或誇大的常見方式。

相關引導路徑透過 K 公制
問題 1 的 8

pass@k 针对单个问题衡量什么?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. pass@k 针对单个问题衡量什么?
    • 通过测试的 k 个样本的比例
    • k 個採樣嘗試中至少有一個通過測試的機率
    • k次微調重試後第一次嘗試通過的機率
    • k 次测试中通过的测试数量
  2. Codex 論文中引入的基準測試 HumanEval 包含哪些內容?
    • Python 项目有 2,294 个 GitHub 问题
    • 1,000 个 C++ 编程竞赛题
    • 164道手寫Python程式問題帶單元測試
    • 500 个经过人工验证的错误报告
  3. 為什麼Codex論文會產生n個樣本,其中n大於k?
    • 计算 pass@k 的无偏、低方差估计
    • 让模型从样本之间的失败中学习
    • 因为测试需要至少 200 个输入
    • 使模型的輸出具有確定性
  4. 當 n 個樣本和 c 個正確時,哪個表達式是無偏 pass@k 估計器?
    • c 除以 n
    • 1 減 (1 減 c/n) 的 k 次方
    • C(c, k) 除以 C(n, k)
    • 1 減 C(n 減 c, k) 除以 C(n, k)
  5. tau 工作台論文中定義的 pass^k 測量什麼?
    • k 次試驗中至少有一次成功的機會
    • 所有 k 個獨立試驗成功的機會
    • k 次试验的平均步数
    • k輪自糾後的得分
  6. 採樣溫度通常如何與 k 相互作用?
    • 溫度對 pass@k 沒有影響
    • 低溫對每個人來說都是最好的
    • 較高的溫度往往有助於在大 k 時通過 @k,因為樣品更加多樣化
    • 较高的温度总是会提高 pass@1
  7. 為什麼高分@100分會誇大現實世界的用處?
    • 它假設某些東西已經知道哪個樣本是正確的
    • 它只计算第一个样本
    • 它忽略單元測試
    • 它总是通过贪婪解码来计算
  8. 如果n = 20個樣本包含c = 18個正確的樣本,那麼pass@5是什麼?
    • 0.9
    • 約0.5
    • 由於 n 太小,無法計算
    • 正好 1