तकनीकी गाइड
पास@के मेट्रिक समझाया गया
Pass@k यह संभावना है कि किसी मॉडल से k नमूना प्रयासों में से कम से कम एक समस्या का समाधान करता है, जिसे आमतौर पर जेनरेट किए गए कोड पर छिपे हुए यूनिट परीक्षण चलाकर जांचा जाता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
इस पृष्ठ पर4 मिनट पढ़ें
सिंहावलोकन
यह मायने रखता है क्योंकि कोड और एजेंट बेंचमार्क इसे लगातार रिपोर्ट करते हैं, और पास@10 या पास@100 स्कोर उपयोगकर्ता को एक प्रयास से जो मिलता है उससे कहीं बेहतर दिख सकता है।
गहरा गोता
Pass@k grew out of program synthesis research, where Kulal and colleagues used it in 2019 for pseudocode-to-code tasks, and it became standard with OpenAI's 2021 Codex paper, which introduced HumanEval, a set of 164 hand-written Python programming problems. For each problem the model writes a function, and the function counts as correct only if it passes hidden unit tests. Pass@k asks: if you drew k samples, what is the chance that at least one passes? The benchmark score is that probability averaged over all problems. The naive method is to generate exactly k samples per problem and check whether any pass, but that estimate is very noisy. The Codex paper instead generates n samples, where n is larger than k (for example 200), counts the c correct ones, and computes the probability that a random subset of k samples contains at least one correct sample: 1 minus C(n minus c, k) divided by C(n, k). This estimator is unbiased and far less variable. The shortcut of plugging c/n into 1 minus (1 minus p) to the power k is biased. Sampling temperature matters. Pass@1 is usually best at low temperature, while pass@100 benefits from higher temperature because more diverse samples raise the chance that one works. Papers often pick a different temperature for each k. Agent benchmarks added a complementary metric. The tau-bench paper from Sierra (2024) defined pass^k, the probability that all k independent trials succeed. It measures reliability rather than capability. Common misreadings include comparing one model's pass@10 with another's pass@1, forgetting that pass@k assumes something already knows which sample is correct, and treating greedy-decoding pass@1 as identical to sampled pass@1. Weak unit tests inflate every pass@k number, which is why EvalPlus added many more tests to HumanEval and saw scores drop.
वास्तविक विश्व कार्यान्वयन
ह्यूमनइवल पर एक कोड मॉडल का मूल्यांकन करने वाली एक टीम प्रति समस्या 200 पूर्णता का नमूना लेती है, गिनती करती है कि कितने परीक्षण पास करते हैं, और निष्पक्ष अनुमानक का उपयोग करके नमूनों के उस एक सेट से पास@1, पास@10 और पास@100 की रिपोर्ट देती है।
एक संपादक स्वत: पूर्ण जो एक सुझाव दिखाता है उसे pass@1 द्वारा आंका जाना चाहिए, जबकि एक उपकरण जो पांच उम्मीदवारों को उत्पन्न करता है और एक काम करने वाले को चुनने के लिए आपका परीक्षण सूट चलाता है वह pass@5 स्थिति के करीब है।
एक ग्राहक-सहायता एजेंट जो 75 प्रतिशत परीक्षणों में सफल होता है, पास@के पर मजबूत दिखता है, लेकिन यदि परीक्षण स्वतंत्र हैं तो उसका पास^4 स्कोर (सभी चार परीक्षण सफल) केवल 0.32 है, जो दर्शाता है कि बार-बार उपयोग करने पर यह कितना अविश्वसनीय लगेगा।
एक प्रतिस्पर्धी प्रोग्रामिंग प्रणाली कई उम्मीदवार कार्यक्रम तैयार करती है, उन्हें उदाहरण परीक्षणों के विरुद्ध फ़िल्टर करती है, और एक छोटी संख्या सबमिट करती है; इसकी रिपोर्ट की गई समाधान दर इस बात पर निर्भर करती है कि कितने सबमिशन की अनुमति दी गई थी, जो कि pass@k-स्टाइल बजट है।
Pass@k मेट्रिक का भविष्य समझाया गया
जैसे-जैसे मॉडल एकल पूर्णता से बहु-चरण एजेंटों की ओर बढ़ते हैं, पास@के के साथ-साथ पास^के और रन-टू-रन स्थिरता जैसे विश्वसनीयता उपायों पर अधिक ध्यान दिया जा रहा है, क्योंकि उपयोगकर्ता एक प्रयास का अनुभव करते हैं, कई में से सर्वश्रेष्ठ का नहीं। बेंचमार्क लेखक भी मजबूत परीक्षण सूट में निवेश कर रहे हैं, क्योंकि कमजोर परीक्षण गलत कोड को पास कर देते हैं और प्रत्येक मीट्रिक को बढ़ा देते हैं। सावधानीपूर्वक रिपोर्ट में k, नमूना गणना, तापमान और क्या किसी चयन चरण का उपयोग किया गया था, यह बताया जाना चाहिए, लेकिन अभ्यास भिन्न होता है, इसलिए पाठकों को उन विवरणों को मानने के बजाय उनकी जांच करते रहना चाहिए।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Pass@k मेट्रिक समझाया प्रश्नोत्तरी लें
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
Pass@k मेट्रिक व्याख्या क्या है?
Pass@k यह संभावना है कि किसी मॉडल से k नमूना प्रयासों में से कम से कम एक समस्या का समाधान करता है, जिसे आमतौर पर जेनरेट किए गए कोड पर छिपे हुए यूनिट परीक्षण चलाकर जांचा जाता है। यह मायने रखता है क्योंकि कोड और एजेंट बेंचमार्क इसे लगातार रिपोर्ट करते हैं, और पास@10 या पास@100 स्कोर उपयोगकर्ता को एक प्रयास से जो मिलता है उससे कहीं बेहतर दिख सकता है।
किसी एक समस्या के लिए pass@k क्या मापता है?
Pass@k वह मौका है कि k प्रयासों में से कम से कम एक सफल हो। बेंचमार्क स्कोर सभी समस्याओं पर उस संभावना का औसत निकालता है।
ह्यूमनएवल, Codex पेपर के साथ पेश किया गया बेंचमार्क, इसमें क्या शामिल है?
ह्यूमनएवल में 164 हस्तलिखित Python समस्याएं हैं, जिनमें से प्रत्येक को छिपे हुए यूनिट परीक्षणों द्वारा जांचा गया है।
Codex पेपर k से बड़े n वाले n नमूने क्यों उत्पन्न करता है?
बिल्कुल k नमूने उत्पन्न करने से शोर का अनुमान मिलता है। n नमूनों का उपयोग करना और c को सही गिनना बहुत कम भिन्नता के साथ निष्पक्ष अनुमान की अनुमति देता है।
n नमूने और c सही होने पर, कौन सी अभिव्यक्ति निष्पक्ष pass@k अनुमानक है?
यह एक शून्य संभावना है कि यादृच्छिक के-सबसेट में केवल गलत नमूने हैं। C(c, k)/C(n, k) पास^k अनुमानक है, और पावर-k शॉर्टकट पक्षपाती है।
टाउ-बेंच पेपर में परिभाषित पास^के क्या मापता है?
प्रत्येक परीक्षण को सफल होने के लिए पास^के की आवश्यकता होती है, इसलिए यह विश्वसनीयता को मापता है, जो कई उपयोगकर्ताओं की सेवा करने वाले एजेंटों के लिए मायने रखता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं