गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर

पास@के मेट्रिक व्याख्या प्रश्नोत्तरी

पास@के परिभाषा, एन नमूनों से निष्पक्ष अनुमानक, पास^के विश्वसनीयता, और सामान्य तरीकों से पास@के स्कोर को गलत पढ़ा जाता है या बढ़ा दिया जाता है, का परीक्षण किया जाता है।

संबंधित मार्गदर्शक पथके मेट्रिक में उत्तीर्ण
प्रश्न 1 का 8

किसी एक समस्या के लिए pass@k क्या मापता है?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. किसी एक समस्या के लिए pass@k क्या मापता है?
    • The fraction of k samples that pass the tests
    • The probability that at least one of k sampled attempts passes the tests
    • The probability that the first attempt passes after k retries of fine-tuning
    • The number of tests passed out of k tests
  2. ह्यूमनएवल, Codex पेपर के साथ पेश किया गया बेंचमार्क, इसमें क्या शामिल है?
    • 2,294 GitHub issues from Python projects
    • 1,000 competitive programming problems in C++
    • 164 hand-written Python programming problems with unit tests
    • 500 human-verified bug reports
  3. Codex पेपर k से बड़े n वाले n नमूने क्यों उत्पन्न करता है?
    • To compute an unbiased, lower-variance estimate of pass@k
    • To let the model learn from its failures between samples
    • Because the tests require at least 200 inputs
    • To make the model's outputs deterministic
  4. n नमूने और c सही होने पर, कौन सी अभिव्यक्ति निष्पक्ष pass@k अनुमानक है?
    • c divided by n
    • 1 minus (1 minus c/n) to the power k
    • C(c, k) divided by C(n, k)
    • 1 minus C(n minus c, k) divided by C(n, k)
  5. टाउ-बेंच पेपर में परिभाषित पास^के क्या मापता है?
    • The chance that at least one of k trials succeeds
    • The chance that all k independent trials succeed
    • The average number of steps across k trials
    • The score after k rounds of self-correction
  6. How does sampling temperature typically interact with k?
    • Temperature has no effect on pass@k
    • Low temperature is best for every k
    • Higher temperature tends to help pass@k at large k because samples are more diverse
    • Higher temperature always improves pass@1
  7. Why can a high pass@100 score overstate real-world usefulness?
    • It assumes something already knows which of the samples is correct
    • It only counts the first sample
    • It ignores the unit tests
    • It is always computed with greedy decoding
  8. If n = 20 samples include c = 18 correct ones, what is pass@5?
    • 0.9
    • About 0.5
    • It cannot be computed because n is too small
    • बिलकुल 1