आगेअगली गाइड
निरंतर प्रीट्रेनिंग बनाम फाइन-ट्यूनिंग
तकनीकी
तकनीकी गाइड
एक एम्बेडिंग मॉडल को फाइन-ट्यूनिंग करने का अर्थ है इसे वास्तविक प्रश्नों और उन्हें उत्तर देने वाले दस्तावेजों के जोड़े पर प्रशिक्षित करना, ताकि आपके डोमेन में प्रासंगिक टेक्स्ट अप्रासंगिक टेक्स्ट की तुलना में वेक्टर स्पेस में एक साथ करीब आ जाए।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
यह मायने रखता है क्योंकि पुनर्प्राप्ति गुणवत्ता आरएजी गुणवत्ता को सीमित करती है: यदि सही मार्ग पुनर्प्राप्त नहीं किया जाता है, तो भाषा मॉडल इसका उपयोग नहीं कर सकता है, और सामान्य प्रयोजन एम्बेडिंग अक्सर डोमेन शब्दावली, संक्षिप्ताक्षर और आपके उपयोगकर्ताओं के वाक्यांश प्रश्नों के तरीके को याद करते हैं।
एक एम्बेडिंग मॉडल टेक्स्ट को वेक्टर में बदल देता है ताकि शब्दार्थ रूप से समान टेक्स्ट में समान वेक्टर हों, जिन्हें आमतौर पर कोसाइन समानता द्वारा मापा जाता है। आरएजी में, प्रश्न और दस्तावेज़ खंड दोनों एम्बेडेड होते हैं, और निकटतम खंड पुनर्प्राप्त किए जाते हैं। सामान्य मॉडलों को व्यापक वेब और प्रश्न-उत्तर डेटा पर प्रशिक्षित किया जाता है। वे हर जगह यथोचित रूप से अच्छी तरह से काम करते हैं, लेकिन विशेष शब्दों, आंतरिक उत्पाद नामों और उपयोगकर्ता के पूछने के तरीके और दस्तावेज़ को कैसे लिखा जाता है, के बीच के अंतर के साथ संघर्ष कर सकते हैं। फाइन-ट्यूनिंग तीन रूपों में प्रशिक्षण डेटा के साथ उस अंतर को बंद कर देती है। सकारात्मक जोड़े एक प्रश्न और एक अनुच्छेद है जो इसका उत्तर देता है। इन-बैच नकारात्मक उसी प्रशिक्षण बैच में अन्य अंशों का उपयोग उदाहरण के रूप में करते हैं कि किस चीज़ को कम स्कोर करना चाहिए। कठिन नकारात्मक वे अंश हैं जो प्रासंगिक लगते हैं, शब्दों या विषय को साझा करते हैं, लेकिन प्रश्न का उत्तर नहीं देते हैं। कठिन नकारात्मक बारीक अंतर सिखाते हैं जो सबसे अधिक मायने रखते हैं, क्योंकि आसान नकारात्मक पहले से ही आधार मॉडल द्वारा अलग कर दिए जाते हैं। अच्छे डेटा स्रोतों में क्लिक के साथ खोज लॉग, लेखों से जुड़े समर्थन टिकट, FAQ पृष्ठ और भाषा मॉडल द्वारा आपके दस्तावेज़ों से उत्पन्न सिंथेटिक प्रश्न शामिल हैं। सिंथेटिक डेटा उपयोगी है लेकिन इसे फ़िल्टर किया जाना चाहिए, क्योंकि उत्पन्न प्रश्न अक्सर दस्तावेज़ के शब्दों की नकल करते हैं और कार्य को बहुत आसान बना देते हैं। एक बार-बार ग़लतफ़हमी यह है कि खराब पुनर्प्राप्ति के लिए फ़ाइन-ट्यूनिंग पहला समाधान है। अक्सर बेहतर चंकिंग, हाइब्रिड सेटअप में BM25 जैसे कीवर्ड सर्च जोड़ना, या रीरैंकर जोड़ना कम प्रयास के साथ बड़ा लाभ देता है। फ़ाइन-ट्यूनिंग तब सबसे सार्थक होती है जब आपने पुनर्प्राप्ति अंतर को मापा है और कम से कम कुछ हज़ार गुणवत्ता वाले जोड़े बना सकते हैं या बना सकते हैं। एक और ख़तरा झूठी नकारात्मकता है: एक खनन किया गया कठिन नकारात्मक जो वास्तव में प्रश्न का उत्तर देता है। मॉडल को दूर धकेलने के लिए उसे प्रशिक्षित करने से गुणवत्ता को नुकसान पहुंचता है। यह भी ध्यान दें कि एम्बेडिंग मॉडल को बदलने के लिए संपूर्ण दस्तावेज़ संग्रह को फिर से एम्बेड करना आवश्यक है, क्योंकि पुराने और नए वेक्टर तुलनीय नहीं हैं।
एक बीमा कंपनी ग्राहकों के प्रश्नों और उनके उत्तर देने वाले पॉलिसी खंडों के जोड़े पर एम्बेडिंग प्रशिक्षित करती है, इसलिए 'यदि मैं इसे गिरा दूं तो क्या मेरा फोन कवर हो जाएगा' आकस्मिक क्षति खंड को पुनः प्राप्त करता है।
एक सॉफ़्टवेयर कंपनी अपने समर्थन टिकट इतिहास का उपयोग करती है, प्रत्येक टिकट के प्रश्न को उनके उत्तर में लिंक किए गए सहायता आलेख एजेंटों के साथ निःशुल्क प्रशिक्षण डेटा के रूप में जोड़ती है।
एक कानूनी अनुसंधान टीम उन खंडों को लेकर कठोर नकारात्मक निष्कर्ष निकालती है जो क्वेरी के साथ कीवर्ड साझा करते हैं लेकिन एक अलग क्षेत्राधिकार को संबोधित करते हैं, मॉडल को उन्हें अलग करना सिखाते हैं।
एक फार्मास्युटिकल टीम एक भाषा मॉडल के साथ आंतरिक दस्तावेजों से सिंथेटिक प्रश्न उत्पन्न करती है, निम्न-गुणवत्ता वाले प्रश्नों को फ़िल्टर करती है, और एक डोमेन एम्बेडिंग मॉडल को प्रशिक्षित करने के लिए जोड़े का उपयोग करती है।
सामान्य एम्बेडिंग मॉडल एमटीईबी जैसे सार्वजनिक बेंचमार्क में सुधार करते रहते हैं, जो डोमेन अनुकूलन के लाभ को कम करता है लेकिन कम नहीं करता है, क्योंकि बेंचमार्क डेटा शायद ही कभी किसी निजी कॉर्पस से मेल खाता है। भाषा मॉडल के साथ सिंथेटिक डेटा जेनरेशन ने बड़े लेबल वाले डेटासेट के बिना टीमों के लिए फाइन-ट्यूनिंग को व्यावहारिक बना दिया है। हाइब्रिड पाइपलाइनों के निरंतर उपयोग की अपेक्षा करें जहां एक सुव्यवस्थित एम्बेडिंग मॉडल पहले चरण के रिकॉल को संभालता है और एक रीरैंकर सटीकता को संभालता है। माप की आदत सबसे अधिक मायने रखती है: वास्तविक प्रश्नों पर रिकॉल को ट्रैक करने वाली टीमों को पता चल जाएगा कि फाइन-ट्यूनिंग कब फायदेमंद होगी।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
एक एम्बेडिंग मॉडल को फाइन-ट्यूनिंग करने का अर्थ है इसे वास्तविक प्रश्नों और उन्हें उत्तर देने वाले दस्तावेजों के जोड़े पर प्रशिक्षित करना, ताकि आपके डोमेन में प्रासंगिक टेक्स्ट अप्रासंगिक टेक्स्ट की तुलना में वेक्टर स्पेस में एक साथ करीब आ जाए। यह मायने रखता है क्योंकि पुनर्प्राप्ति गुणवत्ता आरएजी गुणवत्ता को सीमित करती है: यदि सही मार्ग पुनर्प्राप्त नहीं किया जाता है, तो भाषा मॉडल इसका उपयोग नहीं कर सकता है, और सामान्य प्रयोजन एम्बेडिंग अक्सर डोमेन शब्दावली, संक्षिप्ताक्षर और आपके उपयोगकर्ताओं के वाक्यांश प्रश्नों के तरीके को याद करते हैं।
कठिन नकारात्मक शब्द या विषय को क्वेरी के साथ साझा करते हैं लेकिन सही नहीं होते हैं, जो मॉडल को बारीक अंतर सिखाते हैं।
आसान नकारात्मक बातें पहले से ही क्वेरी से दूर हैं; कठिन नकारात्मकताएँ मॉडल को सूक्ष्म अंतर सीखने के लिए बाध्य करती हैं।
यदि कोई कथित नकारात्मक वास्तव में प्रासंगिक है, तो प्रशिक्षण सही उत्तर को दूर धकेल देता है और पुनर्प्राप्ति को नुकसान पहुँचाता है।
विरोधाभासी नुकसान इन-बैच और कठिन नकारात्मक के मुकाबले सकारात्मक स्कोर करते हैं, सकारात्मक को शीर्ष पर धकेलते हैं।
विभिन्न मॉडलों के वेक्टर तुलनीय नहीं हैं, इसलिए पूरे संग्रह को फिर से एम्बेड किया जाना चाहिए।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
निरंतर प्रीट्रेनिंग बनाम फाइन-ट्यूनिंग
तकनीकी