গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
Pass@k মেট্রিক ব্যাখ্যা করা কুইজ
pass@k সংজ্ঞা পরীক্ষা করে, n নমুনা থেকে নিরপেক্ষ অনুমানকারী, পাস^k নির্ভরযোগ্যতা এবং সাধারণ উপায়ে pass@k স্কোর ভুল পড়া বা স্ফীত হয়।
প্রশ্ন 1 এর 8
একটি একক সমস্যার জন্য pass@k কি পরিমাপ করে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- একটি একক সমস্যার জন্য pass@k কি পরিমাপ করে?
- The fraction of k samples that pass the tests
- The probability that at least one of k sampled attempts passes the tests
- The probability that the first attempt passes after k retries of fine-tuning
- The number of tests passed out of k tests
- HumanEval, Codex কাগজের সাথে প্রবর্তিত বেঞ্চমার্কে কী রয়েছে?
- 2,294 GitHub issues from Python projects
- 1,000 competitive programming problems in C++
- 164 hand-written Python programming problems with unit tests
- 500 human-verified bug reports
- কেন Codex কাগজটি k এর চেয়ে বড় n সহ n নমুনা তৈরি করে?
- To compute an unbiased, lower-variance estimate of pass@k
- To let the model learn from its failures between samples
- Because the tests require at least 200 inputs
- To make the model's outputs deterministic
- n নমুনা এবং c সঠিক সহ, কোন অভিব্যক্তিটি নিরপেক্ষ pass@k অনুমানকারী?
- c divided by n
- 1 minus (1 minus c/n) to the power k
- C(c, k) divided by C(n, k)
- 1 minus C(n minus c, k) divided by C(n, k)
- টাউ-বেঞ্চ পেপারে সংজ্ঞায়িত পাস^কে কি পরিমাপ করে?
- The chance that at least one of k trials succeeds
- The chance that all k independent trials succeed
- The average number of steps across k trials
- The score after k rounds of self-correction
- How does sampling temperature typically interact with k?
- Temperature has no effect on pass@k
- Low temperature is best for every k
- Higher temperature tends to help pass@k at large k because samples are more diverse
- Higher temperature always improves pass@1
- Why can a high pass@100 score overstate real-world usefulness?
- It assumes something already knows which of the samples is correct
- It only counts the first sample
- It ignores the unit tests
- It is always computed with greedy decoding
- If n = 20 samples include c = 18 correct ones, what is pass@5?
- 0.9
- About 0.5
- It cannot be computed because n is too small
- ঠিক ১