तकनीकी गाइड

एलएलएम इवल डेटासेट का निर्माण

एलएलएम ईवल डेटासेट यथार्थवादी इनपुट का एक क्यूरेटेड सेट है, प्रत्येक को एक सुनहरे उत्तर, संदर्भ तथ्य या ग्रेडिंग रूब्रिक के साथ जोड़ा जाता है, जिसके खिलाफ आप गुणवत्ता को मापने और प्रतिगमन को पकड़ने के लिए अपना एप्लिकेशन चलाते हैं।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर4 मिनट पढ़ें
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. एलएलएम इवल डेटासेट के निर्माण का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

यह मायने रखता है क्योंकि संकेत, मॉडल या पुनर्प्राप्ति में बदलाव से एक व्यवहार में सुधार हो सकता है जबकि दूसरे व्यवहार में सुधार हो सकता है। एक निश्चित परीक्षण सेट के बिना, टीमें कुछ चुने हुए उदाहरणों के आधार पर परिवर्तनों का आकलन करती हैं।

गहरा गोता

वास्तविक उपयोग से शुरुआत करें. लॉग, समर्थन टिकट, खोज क्वेरी और उपयोगकर्ता साक्षात्कार दिखाते हैं कि लोग वास्तव में क्या पूछते हैं, जिसमें गन्दे वाक्यांश भी शामिल हैं जो आविष्कृत उदाहरणों से चूक जाते हैं। लॉन्च से पहले, डोमेन विशेषज्ञों से इनपुट लिखने को कहें। आप एलएलएम द्वारा उत्पन्न सिंथेटिक केस जोड़ सकते हैं, जब तक कोई व्यक्ति उनकी समीक्षा करता है और अवास्तविक या डुप्लिकेट आइटम हटा देता है। इसके बाद, परिभाषित करें कि प्रत्येक मामले के लिए सही मतलब क्या है। कुछ कार्यों का एक ही सही उत्तर होता है, जैसे वर्गीकरण, निष्कर्षण या तथ्यात्मक खोज। इनके लिए, एक सुनहरा उत्तर संग्रहित करें जिसकी तुलना बिल्कुल या प्रकाश सामान्यीकरण के बाद की जा सके। ओपन-एंडेड कार्यों के लिए, विशिष्ट, जांच योग्य मानदंडों का एक रूब्रिक लिखें, जैसे 'धनवापसी की समय सीमा का उल्लेख करता है' या 'किसी प्रतिस्पर्धी की अनुशंसा नहीं करता है'। 'सहायक है' जैसे अस्पष्ट मानदंड असंगत ग्रेडिंग की ओर ले जाते हैं, चाहे ग्रेडर एक व्यक्ति हो या जज मॉडल। फिर जानबूझकर वास्तविक इनपुट की सीमा को कवर करें। मामलों को इरादे, कठिनाई, भाषा और उपयोगकर्ता प्रकार के आधार पर टैग करें और जांचें कि महत्वपूर्ण समूहों का प्रतिनिधित्व किया गया है। किनारे के मामले और प्रतिकूल इनपुट जोड़ें: - अस्पष्ट प्रश्न - गुम जानकारी वाले अनुरोध - बहुत लंबे इनपुट - दायरे से बाहर के अनुरोध जिन्हें अस्वीकार कर दिया जाना चाहिए - शीघ्र-इंजेक्शन प्रयास पिछली विफलताओं से बना एक प्रतिगमन स्लाइस रखें। सेट को उस निर्णय के अनुसार आकार दें जिसका उसे समर्थन करना है। कुछ दर्जन अच्छी तरह से चुने गए मामले बड़ी समस्याओं को पहले ही उजागर कर सकते हैं। छोटे अंतरों का पता लगाने में विश्वसनीय रूप से अधिक समय लगता है। 100 उत्तीर्ण/असफल मामलों और 80 प्रतिशत के करीब उत्तीर्ण दर के साथ, त्रुटि का मार्जिन 95 प्रतिशत आत्मविश्वास पर लगभग 8 प्रतिशत अंक प्लस या माइनस है। उस आकार के शोर से दो-बिंदु सुधार अप्रभेद्य है। प्रत्येक स्लाइस के परिणामों की रिपोर्ट करें, न कि केवल समग्र औसत की। डेटासेट को समाप्त मान लेना एक सामान्य गलती है। उत्पाद और उपयोगकर्ता बदलते हैं, इसलिए इसे नए लॉग से ताज़ा करें। एक होल्ड-आउट भाग रखें जिसके खिलाफ आप कभी ट्यून न करें, ताकि आपके संकेत परीक्षण पर हावी न हो जाएं।

वास्तविक विश्व कार्यान्वयन

एक सहायता टीम व्यक्तिगत डेटा हटाकर 300 वास्तविक टिकट निर्यात करती है, प्रत्येक के लिए सही रिज़ॉल्यूशन लेबल करती है, और प्रत्येक नए प्रॉम्प्ट संस्करण को उनके विरुद्ध स्कोर करती है।

मीटिंग सारांश के लिए जहां कई शब्द सही हैं, टीम एक रूब्रिक लिखती है: तीन प्रमुख निर्णयों को शामिल करता है, कोई असमर्थित दावा नहीं करता है, 150 शब्दों से कम रहता है।

टीम किनारे के मामले जोड़ती है: एक खाली इनपुट, स्पेनिश में एक प्रश्न, एक दस्तावेज़ जिसमें शीघ्र-इंजेक्शन प्रयास होता है, और एक आउट-ऑफ़-स्कोप अनुरोध जिसे सहायक को अस्वीकार करना चाहिए।

जब कोई उपयोगकर्ता उत्पादन में खराब उत्तर की रिपोर्ट करता है, तो मामला सही उत्तर के साथ डेटासेट में चला जाता है, इसलिए तब से सुधार का परीक्षण किया जाता है।

एलएलएम इवल डेटासेट के निर्माण का भविष्य

इवल टूलींग तेजी से परिपक्व हो गई है। ओपन-सोर्स फ्रेमवर्क और होस्ट किए गए प्लेटफ़ॉर्म अब डेटासेट प्रबंधित करते हैं, ग्रेडर चलाते हैं और समय के साथ परिणामों को ट्रैक करते हैं। सिंथेटिक डेटा जेनरेशन में संभवतः सुधार होता रहेगा, जिससे दुर्लभ मामलों को कवर करना सस्ता हो जाएगा। यह महत्वपूर्ण चीज़ों के लिए एंकर के रूप में वास्तविक उपयोगकर्ता इनपुट को प्रतिस्थापित नहीं कर सकता है। जैसे-जैसे एप्लिकेशन अधिक एजेंटिक होते जाते हैं, eval सेट में अंतिम परिणाम और रास्ते में उठाए गए कदमों दोनों के आधार पर बहु-चरणीय कार्यों को शामिल किया जाता है। मुख्य अनुशासन धीरे-धीरे बदलता है: सफलता को स्पष्ट रूप से परिभाषित करें, वास्तविक इनपुट को कवर करें, संख्याओं पर भरोसा करने के लिए पर्याप्त मामलों का उपयोग करें, और उत्पादन से सेट को नियमित रूप से ताज़ा करें।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Building an LLM Eval Dataset quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

एलएलएम इवल डेटासेट का निर्माण क्या है?

एलएलएम ईवल डेटासेट यथार्थवादी इनपुट का एक क्यूरेटेड सेट है, प्रत्येक को एक सुनहरे उत्तर, संदर्भ तथ्य या ग्रेडिंग रूब्रिक के साथ जोड़ा जाता है, जिसके खिलाफ आप गुणवत्ता को मापने और प्रतिगमन को पकड़ने के लिए अपना एप्लिकेशन चलाते हैं। यह मायने रखता है क्योंकि संकेत, मॉडल या पुनर्प्राप्ति में बदलाव से एक व्यवहार में सुधार हो सकता है जबकि दूसरे व्यवहार में सुधार हो सकता है। एक निश्चित परीक्षण सेट के बिना, टीमें कुछ चुने हुए उदाहरणों के आधार पर परिवर्तनों का आकलन करती हैं।

eval मामलों के लिए सर्वोत्तम आरंभिक स्रोत के रूप में मार्गदर्शिका क्या अनुशंसा करती है?

वास्तविक उपयोग से पता चलता है कि लोग वास्तव में क्या पूछते हैं, जिसमें गड़बड़ वाक्यांश भी शामिल है। सिंथेटिक मामले एक समीक्षात्मक पूरक हैं, प्रतिस्थापन नहीं।

एक रूब्रिक एकल सुनहरे उत्तर से अधिक उपयुक्त कब होता है?

सारांश जैसे ओपन-एंडेड आउटपुट का सटीक मिलान नहीं किया जा सकता है। विशिष्ट, जांच योग्य मानदंड ग्रेडर्स को लगातार उनका मूल्यांकन करने देते हैं।

इनमें से कौन सा एक सुलिखित रूब्रिक मानदंड है?

एक अच्छा मानदंड विशिष्ट और जांच योग्य होता है। 'सहायक है' जैसे अस्पष्ट मानदंड लोगों और मॉडलों का मूल्यांकन करने वालों द्वारा असंगत ग्रेडिंग का कारण बनते हैं।

100 उत्तीर्ण/असफल मामलों और 80 प्रतिशत के करीब उत्तीर्ण दर के साथ, गाइड त्रुटि की संभावना के बारे में क्या कहता है?

95 प्रतिशत विश्वास पर मार्जिन इस आकार पर लगभग 8 अंक है। संस्करणों के बीच छोटे अंतरों पर अधिक मामलों के बिना भरोसा नहीं किया जा सकता।

प्रतिगमन स्लाइस का उद्देश्य क्या है?

प्रत्येक निश्चित विफलता को डेटासेट में जोड़ने का मतलब है कि बाद में किया गया परिवर्तन चुपचाप उसी बग को दोबारा प्रस्तुत नहीं कर सकता है।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →