आगेअगली गाइड
एलएलएम इवल फ्रेमवर्क: प्रॉम्प्टफू और डीपइवल
तकनीकी
तकनीकी गाइड
एलएलएम ईवल डेटासेट यथार्थवादी इनपुट का एक क्यूरेटेड सेट है, प्रत्येक को एक सुनहरे उत्तर, संदर्भ तथ्य या ग्रेडिंग रूब्रिक के साथ जोड़ा जाता है, जिसके खिलाफ आप गुणवत्ता को मापने और प्रतिगमन को पकड़ने के लिए अपना एप्लिकेशन चलाते हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
यह मायने रखता है क्योंकि संकेत, मॉडल या पुनर्प्राप्ति में बदलाव से एक व्यवहार में सुधार हो सकता है जबकि दूसरे व्यवहार में सुधार हो सकता है। एक निश्चित परीक्षण सेट के बिना, टीमें कुछ चुने हुए उदाहरणों के आधार पर परिवर्तनों का आकलन करती हैं।
वास्तविक उपयोग से शुरुआत करें. लॉग, समर्थन टिकट, खोज क्वेरी और उपयोगकर्ता साक्षात्कार दिखाते हैं कि लोग वास्तव में क्या पूछते हैं, जिसमें गन्दे वाक्यांश भी शामिल हैं जो आविष्कृत उदाहरणों से चूक जाते हैं। लॉन्च से पहले, डोमेन विशेषज्ञों से इनपुट लिखने को कहें। आप एलएलएम द्वारा उत्पन्न सिंथेटिक केस जोड़ सकते हैं, जब तक कोई व्यक्ति उनकी समीक्षा करता है और अवास्तविक या डुप्लिकेट आइटम हटा देता है। इसके बाद, परिभाषित करें कि प्रत्येक मामले के लिए सही मतलब क्या है। कुछ कार्यों का एक ही सही उत्तर होता है, जैसे वर्गीकरण, निष्कर्षण या तथ्यात्मक खोज। इनके लिए, एक सुनहरा उत्तर संग्रहित करें जिसकी तुलना बिल्कुल या प्रकाश सामान्यीकरण के बाद की जा सके। ओपन-एंडेड कार्यों के लिए, विशिष्ट, जांच योग्य मानदंडों का एक रूब्रिक लिखें, जैसे 'धनवापसी की समय सीमा का उल्लेख करता है' या 'किसी प्रतिस्पर्धी की अनुशंसा नहीं करता है'। 'सहायक है' जैसे अस्पष्ट मानदंड असंगत ग्रेडिंग की ओर ले जाते हैं, चाहे ग्रेडर एक व्यक्ति हो या जज मॉडल। फिर जानबूझकर वास्तविक इनपुट की सीमा को कवर करें। मामलों को इरादे, कठिनाई, भाषा और उपयोगकर्ता प्रकार के आधार पर टैग करें और जांचें कि महत्वपूर्ण समूहों का प्रतिनिधित्व किया गया है। किनारे के मामले और प्रतिकूल इनपुट जोड़ें: - अस्पष्ट प्रश्न - गुम जानकारी वाले अनुरोध - बहुत लंबे इनपुट - दायरे से बाहर के अनुरोध जिन्हें अस्वीकार कर दिया जाना चाहिए - शीघ्र-इंजेक्शन प्रयास पिछली विफलताओं से बना एक प्रतिगमन स्लाइस रखें। सेट को उस निर्णय के अनुसार आकार दें जिसका उसे समर्थन करना है। कुछ दर्जन अच्छी तरह से चुने गए मामले बड़ी समस्याओं को पहले ही उजागर कर सकते हैं। छोटे अंतरों का पता लगाने में विश्वसनीय रूप से अधिक समय लगता है। 100 उत्तीर्ण/असफल मामलों और 80 प्रतिशत के करीब उत्तीर्ण दर के साथ, त्रुटि का मार्जिन 95 प्रतिशत आत्मविश्वास पर लगभग 8 प्रतिशत अंक प्लस या माइनस है। उस आकार के शोर से दो-बिंदु सुधार अप्रभेद्य है। प्रत्येक स्लाइस के परिणामों की रिपोर्ट करें, न कि केवल समग्र औसत की। डेटासेट को समाप्त मान लेना एक सामान्य गलती है। उत्पाद और उपयोगकर्ता बदलते हैं, इसलिए इसे नए लॉग से ताज़ा करें। एक होल्ड-आउट भाग रखें जिसके खिलाफ आप कभी ट्यून न करें, ताकि आपके संकेत परीक्षण पर हावी न हो जाएं।
एक सहायता टीम व्यक्तिगत डेटा हटाकर 300 वास्तविक टिकट निर्यात करती है, प्रत्येक के लिए सही रिज़ॉल्यूशन लेबल करती है, और प्रत्येक नए प्रॉम्प्ट संस्करण को उनके विरुद्ध स्कोर करती है।
मीटिंग सारांश के लिए जहां कई शब्द सही हैं, टीम एक रूब्रिक लिखती है: तीन प्रमुख निर्णयों को शामिल करता है, कोई असमर्थित दावा नहीं करता है, 150 शब्दों से कम रहता है।
टीम किनारे के मामले जोड़ती है: एक खाली इनपुट, स्पेनिश में एक प्रश्न, एक दस्तावेज़ जिसमें शीघ्र-इंजेक्शन प्रयास होता है, और एक आउट-ऑफ़-स्कोप अनुरोध जिसे सहायक को अस्वीकार करना चाहिए।
जब कोई उपयोगकर्ता उत्पादन में खराब उत्तर की रिपोर्ट करता है, तो मामला सही उत्तर के साथ डेटासेट में चला जाता है, इसलिए तब से सुधार का परीक्षण किया जाता है।
इवल टूलींग तेजी से परिपक्व हो गई है। ओपन-सोर्स फ्रेमवर्क और होस्ट किए गए प्लेटफ़ॉर्म अब डेटासेट प्रबंधित करते हैं, ग्रेडर चलाते हैं और समय के साथ परिणामों को ट्रैक करते हैं। सिंथेटिक डेटा जेनरेशन में संभवतः सुधार होता रहेगा, जिससे दुर्लभ मामलों को कवर करना सस्ता हो जाएगा। यह महत्वपूर्ण चीज़ों के लिए एंकर के रूप में वास्तविक उपयोगकर्ता इनपुट को प्रतिस्थापित नहीं कर सकता है। जैसे-जैसे एप्लिकेशन अधिक एजेंटिक होते जाते हैं, eval सेट में अंतिम परिणाम और रास्ते में उठाए गए कदमों दोनों के आधार पर बहु-चरणीय कार्यों को शामिल किया जाता है। मुख्य अनुशासन धीरे-धीरे बदलता है: सफलता को स्पष्ट रूप से परिभाषित करें, वास्तविक इनपुट को कवर करें, संख्याओं पर भरोसा करने के लिए पर्याप्त मामलों का उपयोग करें, और उत्पादन से सेट को नियमित रूप से ताज़ा करें।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
एलएलएम ईवल डेटासेट यथार्थवादी इनपुट का एक क्यूरेटेड सेट है, प्रत्येक को एक सुनहरे उत्तर, संदर्भ तथ्य या ग्रेडिंग रूब्रिक के साथ जोड़ा जाता है, जिसके खिलाफ आप गुणवत्ता को मापने और प्रतिगमन को पकड़ने के लिए अपना एप्लिकेशन चलाते हैं। यह मायने रखता है क्योंकि संकेत, मॉडल या पुनर्प्राप्ति में बदलाव से एक व्यवहार में सुधार हो सकता है जबकि दूसरे व्यवहार में सुधार हो सकता है। एक निश्चित परीक्षण सेट के बिना, टीमें कुछ चुने हुए उदाहरणों के आधार पर परिवर्तनों का आकलन करती हैं।
वास्तविक उपयोग से पता चलता है कि लोग वास्तव में क्या पूछते हैं, जिसमें गड़बड़ वाक्यांश भी शामिल है। सिंथेटिक मामले एक समीक्षात्मक पूरक हैं, प्रतिस्थापन नहीं।
सारांश जैसे ओपन-एंडेड आउटपुट का सटीक मिलान नहीं किया जा सकता है। विशिष्ट, जांच योग्य मानदंड ग्रेडर्स को लगातार उनका मूल्यांकन करने देते हैं।
एक अच्छा मानदंड विशिष्ट और जांच योग्य होता है। 'सहायक है' जैसे अस्पष्ट मानदंड लोगों और मॉडलों का मूल्यांकन करने वालों द्वारा असंगत ग्रेडिंग का कारण बनते हैं।
95 प्रतिशत विश्वास पर मार्जिन इस आकार पर लगभग 8 अंक है। संस्करणों के बीच छोटे अंतरों पर अधिक मामलों के बिना भरोसा नहीं किया जा सकता।
प्रत्येक निश्चित विफलता को डेटासेट में जोड़ने का मतलब है कि बाद में किया गया परिवर्तन चुपचाप उसी बग को दोबारा प्रस्तुत नहीं कर सकता है।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
एलएलएम इवल फ्रेमवर्क: प्रॉम्प्टफू और डीपइवल
तकनीकी