तकनीकी गाइड

पुनर्प्राप्ति के लिए फाइन-ट्यूनिंग एंबेडिंग मॉडल

एक एम्बेडिंग मॉडल को फाइन-ट्यूनिंग करने का अर्थ है इसे वास्तविक प्रश्नों और उन्हें उत्तर देने वाले दस्तावेजों के जोड़े पर प्रशिक्षित करना, ताकि आपके डोमेन में प्रासंगिक टेक्स्ट अप्रासंगिक टेक्स्ट की तुलना में वेक्टर स्पेस में एक साथ करीब आ जाए।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर4 मिनट पढ़ें
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. पुनर्प्राप्ति के लिए फ़ाइन-ट्यूनिंग एंबेडिंग मॉडल का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

यह मायने रखता है क्योंकि पुनर्प्राप्ति गुणवत्ता आरएजी गुणवत्ता को सीमित करती है: यदि सही मार्ग पुनर्प्राप्त नहीं किया जाता है, तो भाषा मॉडल इसका उपयोग नहीं कर सकता है, और सामान्य प्रयोजन एम्बेडिंग अक्सर डोमेन शब्दावली, संक्षिप्ताक्षर और आपके उपयोगकर्ताओं के वाक्यांश प्रश्नों के तरीके को याद करते हैं।

गहरा गोता

एक एम्बेडिंग मॉडल टेक्स्ट को वेक्टर में बदल देता है ताकि शब्दार्थ रूप से समान टेक्स्ट में समान वेक्टर हों, जिन्हें आमतौर पर कोसाइन समानता द्वारा मापा जाता है। आरएजी में, प्रश्न और दस्तावेज़ खंड दोनों एम्बेडेड होते हैं, और निकटतम खंड पुनर्प्राप्त किए जाते हैं। सामान्य मॉडलों को व्यापक वेब और प्रश्न-उत्तर डेटा पर प्रशिक्षित किया जाता है। वे हर जगह यथोचित रूप से अच्छी तरह से काम करते हैं, लेकिन विशेष शब्दों, आंतरिक उत्पाद नामों और उपयोगकर्ता के पूछने के तरीके और दस्तावेज़ को कैसे लिखा जाता है, के बीच के अंतर के साथ संघर्ष कर सकते हैं। फाइन-ट्यूनिंग तीन रूपों में प्रशिक्षण डेटा के साथ उस अंतर को बंद कर देती है। सकारात्मक जोड़े एक प्रश्न और एक अनुच्छेद है जो इसका उत्तर देता है। इन-बैच नकारात्मक उसी प्रशिक्षण बैच में अन्य अंशों का उपयोग उदाहरण के रूप में करते हैं कि किस चीज़ को कम स्कोर करना चाहिए। कठिन नकारात्मक वे अंश हैं जो प्रासंगिक लगते हैं, शब्दों या विषय को साझा करते हैं, लेकिन प्रश्न का उत्तर नहीं देते हैं। कठिन नकारात्मक बारीक अंतर सिखाते हैं जो सबसे अधिक मायने रखते हैं, क्योंकि आसान नकारात्मक पहले से ही आधार मॉडल द्वारा अलग कर दिए जाते हैं। अच्छे डेटा स्रोतों में क्लिक के साथ खोज लॉग, लेखों से जुड़े समर्थन टिकट, FAQ पृष्ठ और भाषा मॉडल द्वारा आपके दस्तावेज़ों से उत्पन्न सिंथेटिक प्रश्न शामिल हैं। सिंथेटिक डेटा उपयोगी है लेकिन इसे फ़िल्टर किया जाना चाहिए, क्योंकि उत्पन्न प्रश्न अक्सर दस्तावेज़ के शब्दों की नकल करते हैं और कार्य को बहुत आसान बना देते हैं। एक बार-बार ग़लतफ़हमी यह है कि खराब पुनर्प्राप्ति के लिए फ़ाइन-ट्यूनिंग पहला समाधान है। अक्सर बेहतर चंकिंग, हाइब्रिड सेटअप में BM25 जैसे कीवर्ड सर्च जोड़ना, या रीरैंकर जोड़ना कम प्रयास के साथ बड़ा लाभ देता है। फ़ाइन-ट्यूनिंग तब सबसे सार्थक होती है जब आपने पुनर्प्राप्ति अंतर को मापा है और कम से कम कुछ हज़ार गुणवत्ता वाले जोड़े बना सकते हैं या बना सकते हैं। एक और ख़तरा झूठी नकारात्मकता है: एक खनन किया गया कठिन नकारात्मक जो वास्तव में प्रश्न का उत्तर देता है। मॉडल को दूर धकेलने के लिए उसे प्रशिक्षित करने से गुणवत्ता को नुकसान पहुंचता है। यह भी ध्यान दें कि एम्बेडिंग मॉडल को बदलने के लिए संपूर्ण दस्तावेज़ संग्रह को फिर से एम्बेड करना आवश्यक है, क्योंकि पुराने और नए वेक्टर तुलनीय नहीं हैं।

वास्तविक विश्व कार्यान्वयन

एक बीमा कंपनी ग्राहकों के प्रश्नों और उनके उत्तर देने वाले पॉलिसी खंडों के जोड़े पर एम्बेडिंग प्रशिक्षित करती है, इसलिए 'यदि मैं इसे गिरा दूं तो क्या मेरा फोन कवर हो जाएगा' आकस्मिक क्षति खंड को पुनः प्राप्त करता है।

एक सॉफ़्टवेयर कंपनी अपने समर्थन टिकट इतिहास का उपयोग करती है, प्रत्येक टिकट के प्रश्न को उनके उत्तर में लिंक किए गए सहायता आलेख एजेंटों के साथ निःशुल्क प्रशिक्षण डेटा के रूप में जोड़ती है।

एक कानूनी अनुसंधान टीम उन खंडों को लेकर कठोर नकारात्मक निष्कर्ष निकालती है जो क्वेरी के साथ कीवर्ड साझा करते हैं लेकिन एक अलग क्षेत्राधिकार को संबोधित करते हैं, मॉडल को उन्हें अलग करना सिखाते हैं।

एक फार्मास्युटिकल टीम एक भाषा मॉडल के साथ आंतरिक दस्तावेजों से सिंथेटिक प्रश्न उत्पन्न करती है, निम्न-गुणवत्ता वाले प्रश्नों को फ़िल्टर करती है, और एक डोमेन एम्बेडिंग मॉडल को प्रशिक्षित करने के लिए जोड़े का उपयोग करती है।

पुनर्प्राप्ति के लिए फ़ाइन-ट्यूनिंग एंबेडिंग मॉडल का भविष्य

सामान्य एम्बेडिंग मॉडल एमटीईबी जैसे सार्वजनिक बेंचमार्क में सुधार करते रहते हैं, जो डोमेन अनुकूलन के लाभ को कम करता है लेकिन कम नहीं करता है, क्योंकि बेंचमार्क डेटा शायद ही कभी किसी निजी कॉर्पस से मेल खाता है। भाषा मॉडल के साथ सिंथेटिक डेटा जेनरेशन ने बड़े लेबल वाले डेटासेट के बिना टीमों के लिए फाइन-ट्यूनिंग को व्यावहारिक बना दिया है। हाइब्रिड पाइपलाइनों के निरंतर उपयोग की अपेक्षा करें जहां एक सुव्यवस्थित एम्बेडिंग मॉडल पहले चरण के रिकॉल को संभालता है और एक रीरैंकर सटीकता को संभालता है। माप की आदत सबसे अधिक मायने रखती है: वास्तविक प्रश्नों पर रिकॉल को ट्रैक करने वाली टीमों को पता चल जाएगा कि फाइन-ट्यूनिंग कब फायदेमंद होगी।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Fine-Tuning Embedding Models for Retrieval quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

पुनर्प्राप्ति के लिए फ़ाइन-ट्यूनिंग एंबेडिंग मॉडल क्या है?

एक एम्बेडिंग मॉडल को फाइन-ट्यूनिंग करने का अर्थ है इसे वास्तविक प्रश्नों और उन्हें उत्तर देने वाले दस्तावेजों के जोड़े पर प्रशिक्षित करना, ताकि आपके डोमेन में प्रासंगिक टेक्स्ट अप्रासंगिक टेक्स्ट की तुलना में वेक्टर स्पेस में एक साथ करीब आ जाए। यह मायने रखता है क्योंकि पुनर्प्राप्ति गुणवत्ता आरएजी गुणवत्ता को सीमित करती है: यदि सही मार्ग पुनर्प्राप्त नहीं किया जाता है, तो भाषा मॉडल इसका उपयोग नहीं कर सकता है, और सामान्य प्रयोजन एम्बेडिंग अक्सर डोमेन शब्दावली, संक्षिप्ताक्षर और आपके उपयोगकर्ताओं के वाक्यांश प्रश्नों के तरीके को याद करते हैं।

फ़ाइन-ट्यूनिंग एम्बेड करने में कठिन नकारात्मकता क्या है?

कठिन नकारात्मक शब्द या विषय को क्वेरी के साथ साझा करते हैं लेकिन सही नहीं होते हैं, जो मॉडल को बारीक अंतर सिखाते हैं।

आसान नकारात्मक की तुलना में कठिन नकारात्मक अधिक उपयोगी क्यों हैं?

आसान नकारात्मक बातें पहले से ही क्वेरी से दूर हैं; कठिन नकारात्मकताएँ मॉडल को सूक्ष्म अंतर सीखने के लिए बाध्य करती हैं।

इस संदर्भ में गलत नकारात्मक क्या है?

यदि कोई कथित नकारात्मक वास्तव में प्रासंगिक है, तो प्रशिक्षण सही उत्तर को दूर धकेल देता है और पुनर्प्राप्ति को नुकसान पहुँचाता है।

क्वेरी-पैसेज जोड़े पर एम्बेडिंग मॉडल के प्रशिक्षण के लिए आमतौर पर किस हानि का उपयोग किया जाता है?

विरोधाभासी नुकसान इन-बैच और कठिन नकारात्मक के मुकाबले सकारात्मक स्कोर करते हैं, सकारात्मक को शीर्ष पर धकेलते हैं।

नए सुव्यवस्थित एम्बेडिंग मॉडल पर स्विच करने के बाद, आपको अपने दस्तावेज़ इंडेक्स के साथ क्या करना चाहिए?

विभिन्न मॉडलों के वेक्टर तुलनीय नहीं हैं, इसलिए पूरे संग्रह को फिर से एम्बेड किया जाना चाहिए।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →