बुनियादी गाइड
बेंचमार्क संदूषण
बेंचमार्क संदूषण तब होता है जब मूल्यांकन बेंचमार्क से प्रश्न या उत्तर मॉडल के प्रशिक्षण डेटा में समाप्त हो जाते हैं, इसलिए उच्च स्कोर वास्तविक क्षमता के बजाय याद रखने को प्रतिबिंबित कर सकता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
इस पृष्ठ पर4 मिनट पढ़ें
सिंहावलोकन
यह मायने रखता है क्योंकि लीडरबोर्ड नंबर अनुसंधान दावों और खरीद निर्णयों को संचालित करते हैं, और दूषित स्कोर इस बात को बढ़ा देते हैं कि कोई मॉडल उन समस्याओं पर कैसा प्रदर्शन करेगा जो उसने कभी नहीं देखी है।
गहरा गोता
बड़े भाषा मॉडल को वेब-स्केल टेक्स्ट पर प्रशिक्षित किया जाता है जिसमें GitHub, arXiv पेपर, फ़ोरम और ट्यूटोरियल साइटें शामिल हैं। लोकप्रिय बेंचमार्क डिज़ाइन द्वारा सार्वजनिक होते हैं, इसलिए उनके प्रश्न, उत्तर और उनकी चर्चाएं वेब पर कॉपी हो जाती हैं और प्रशिक्षण डेटा में शामिल हो जाती हैं। संदूषण प्रत्यक्ष हो सकता है, जहां सटीक परीक्षण आइटम प्रकट होता है, या अप्रत्यक्ष, पैराफ़्रेज़, अनुवाद, समाधान लेखन, या किसी अन्य मॉडल द्वारा उत्पन्न सिंथेटिक डेटा के माध्यम से, जिसने बेंचमार्क देखा था। यदि निर्देश डेटासेट बेंचमार्क-जैसे स्रोतों से इकट्ठे किए गए थे तो यह फाइन-ट्यूनिंग के दौरान भी प्रवेश कर सकता है। केवल प्रश्न को देखने और प्रश्न को उसके उत्तर के साथ देखने के बीच एक उपयोगी अंतर है। दूसरा अधिक हानिकारक है, क्योंकि मॉडल उत्तर पर काम करने के बजाय उसे याद कर सकता है। परिणाम एक बढ़ा हुआ स्कोर है जो नई समस्याओं को स्थानांतरित नहीं करता है। लैब जागरूकता कोई नई बात नहीं है. GPT-3 पेपर (2020) ने अपने बेंचमार्क और प्रशिक्षण डेटा के बीच 13-ग्राम ओवरलैप विश्लेषण चलाया और स्वीकार किया कि एक बग ने कुछ ओवरलैप छोड़ दिए हैं। जब प्रशिक्षण डेटा उपलब्ध होता है, तो ओवरलैप खोज सबसे प्रत्यक्ष जांच होती है। जब ऐसा नहीं होता है, तो शोधकर्ता अप्रत्यक्ष तरीकों का उपयोग करते हैं: परीक्षण आइटम की शुरुआत के साथ मॉडल को यह देखने के लिए प्रेरित करना कि क्या यह बाकी शब्दशः पूरा करता है; सदस्यता अनुमान विधियाँ जैसे मिन-के% प्रोब (शि और सहकर्मी, 2023), जो यह देखती हैं कि कोई मॉडल कितने आत्मविश्वास से किसी पाठ के टोकन की भविष्यवाणी करता है; मूल वस्तुओं पर प्राप्त अंकों की पुनर्लिखित या नव लिखित समकक्षों से तुलना करना; और समय-आधारित विभाजन जो प्रशिक्षण कटऑफ से पहले और बाद में उत्पन्न समस्याओं की तुलना करते हैं। दो ग़लतफ़हमियाँ आम हैं. पहला, ओवरलैप हमेशा स्कोर ज़्यादा नहीं बढ़ाता; कुछ अध्ययनों में कुछ कार्यों पर मामूली प्रभाव पाया गया है। दूसरा, कोई सटीक ओवरलैप नहीं मिलना यह साबित नहीं करता है कि बेंचमार्क साफ है, क्योंकि व्याख्या की गई या अनुवादित प्रतियां स्ट्रिंग मिलान से आगे निकल जाती हैं। शमन में निजी हेल्ड-आउट परीक्षण सेट, कैनरी स्ट्रिंग्स, लाइवबेंच और लाइवकोडबेंच जैसे नियमित रूप से ताज़ा बेंचमार्क, परिशोधन फ़िल्टर और परिणामों के साथ संदूषण विश्लेषण प्रकाशित करना शामिल है।
वास्तविक विश्व कार्यान्वयन
गणित बेंचमार्क की समस्याओं को कारगर समाधानों के साथ मंचों पर दोबारा पोस्ट किया जाता है; एक वेब क्रॉल उन पृष्ठों को एकत्र करता है, और उस पर प्रशिक्षित एक मॉडल बाद में मूल शब्दों में एक विचित्रता सहित सटीक उत्तरों को पुन: प्रस्तुत करता है।
स्केल एआई के शोधकर्ताओं ने GSM1k लिखा, नए ग्रेड-स्कूल गणित की समस्याएं शैली और कठिनाई में GSM8K से मेल खाती हैं, और पाया कि कुछ मॉडलों ने ताजा सेट पर काफी कम स्कोर किया, जो सार्वजनिक बेंचमार्क पर ओवरफिटिंग का संकेत है।
एक कोडिंग बेंचमार्क जो प्रत्येक समस्या को दिनांकित करता है, एक मॉडल को उसके प्रशिक्षण कटऑफ से पहले प्रकाशित बाद की तुलना में कहीं अधिक समस्याओं को हल करता हुआ दिखाता है, यही वह पैटर्न है जिसे उजागर करने के लिए LiveCodeBench को डिज़ाइन किया गया था।
बीआईजी-बेंच कार्यों में एक अद्वितीय कैनरी स्ट्रिंग शामिल होती है ताकि डेटा टीमें किसी भी दस्तावेज़ को प्रशिक्षण निगम से फ़िल्टर कर सकें और बाद में जांच सकें कि कोई मॉडल इसे पुन: उत्पन्न कर सकता है या नहीं।
बेंचमार्क संदूषण का भविष्य
मूल्यांकन अभ्यास निजी या आंशिक रूप से निजी परीक्षण सेट, समय के साथ नए आइटम जोड़ने वाले बेंचमार्क और परीक्षण डेटा को नियंत्रित करने वाले तीसरे पक्ष के मूल्यांकनकर्ताओं की ओर स्थानांतरित हो रहा है। यह खुलेपन के साथ एक वास्तविक तनाव पैदा करता है, क्योंकि सार्वजनिक बेंचमार्क को पुन: पेश करना और निरीक्षण करना आसान होता है। प्रशिक्षण डेटा के बारे में अधिक पारदर्शिता से संदूषण जांच बहुत आसान हो जाएगी, लेकिन कई मॉडल डेवलपर पूर्ण डेटा विवरण प्रकाशित नहीं करते हैं। पाठकों को किसी भी एक स्थिर बेंचमार्क स्कोर को सावधानी से देखना चाहिए और मजबूत निष्कर्ष निकालने से पहले ताज़ा या रुके हुए डेटा पर परिणाम देखना चाहिए।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- स्पष्ट निर्णय. यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
- लागत और बजट. आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
- टीम और वर्कफ़्लो. साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
का ध्यान रखें
- अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
- बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
- डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
अगले चरण
- आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
- परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
- प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
- दस्तावेज़ जहां बेंचमार्क संदूषण मदद करता है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Benchmark Contamination quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
बेंचमार्क संदूषण क्या है?
बेंचमार्क संदूषण तब होता है जब मूल्यांकन बेंचमार्क से प्रश्न या उत्तर मॉडल के प्रशिक्षण डेटा में समाप्त हो जाते हैं, इसलिए उच्च स्कोर वास्तविक क्षमता के बजाय याद रखने को प्रतिबिंबित कर सकता है। यह मायने रखता है क्योंकि लीडरबोर्ड नंबर अनुसंधान दावों और खरीद निर्णयों को संचालित करते हैं, और दूषित स्कोर इस बात को बढ़ा देते हैं कि कोई मॉडल उन समस्याओं पर कैसा प्रदर्शन करेगा जो उसने कभी नहीं देखी है।
बेंचमार्क संदूषण क्या है?
संदूषण का मतलब है कि मॉडल ने प्रशिक्षण के दौरान परीक्षण सामग्री देखी होगी, इसलिए इसका स्कोर याद रखने को प्रतिबिंबित कर सकता है।
बिग-बेंच कार्यों में शामिल कैनरी स्ट्रिंग का उद्देश्य क्या है?
एक अद्वितीय पहचानकर्ता कॉर्पोरा से बेंचमार्क टेक्स्ट को ढूंढना और हटाना और यह जांच करना आसान बनाता है कि किसी मॉडल ने इसे याद किया है या नहीं।
GSM1k अध्ययन ने क्या सुझाव दिया?
शैली और कठिनाई में मेल खाने वाली नई समस्याओं में गिरावट सामान्य गणित कौशल के बजाय सार्वजनिक बेंचमार्क पर हावी होने की ओर इशारा करती है।
GPT-3 पेपर में कौन सा ओवरलैप विश्लेषण चला?
GPT-3 के लेखकों ने 13-ग्राम ओवरलैप की जाँच की और एक बग को स्वीकार किया जिसके कारण कुछ ओवरलैप नहीं हटाए गए।
मिन-के% प्रोब का मूल विचार क्या है?
विधि टोकन लॉग-संभावनाओं के न्यूनतम k प्रतिशत का औसत रखती है; याद किए गए पाठ का स्कोर असामान्य रूप से अधिक होता है क्योंकि इसमें बहुत कम मॉडल को आश्चर्यचकित करता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं