पुनर्प्राप्ति के लिए फाइन-ट्यूनिंग एंबेडिंग मॉडल

एक एम्बेडिंग मॉडल टेक्स्ट को वेक्टर में बदल देता है ताकि शब्दार्थ रूप से समान टेक्स्ट में समान वेक्टर हों, जिन्हें आमतौर पर कोसाइन समानता द्वारा मापा जाता है। आरएजी में, प्रश्न और दस्तावेज़ खंड दोनों एम्बेडेड होते हैं, और निकटतम खंड पुनर्प्राप्त किए जाते हैं। सामान्य मॉडलों को व्यापक वेब और प्रश्न-उत्तर डेटा पर प्रशिक्षित किया जाता है। वे हर जगह यथोचित रूप से अच्छी तरह से काम करते हैं, लेकिन विशेष शब्दों, आंतरिक उत्पाद नामों और उपयोगकर्ता के पूछने के तरीके और दस्तावेज़ को कैसे लिखा जाता है, के बीच के अंतर के साथ संघर्ष कर सकते हैं। फाइन-ट्यूनिंग तीन रूपों में प्रशिक्षण डेटा के साथ उस अंतर को बंद कर देती है। सकारात्मक जोड़े एक प्रश्न और एक अनुच्छेद है जो इसका उत्तर देता है। इन-बैच नकारात्मक उसी प्रशिक्षण बैच में अन्य अंशों का उपयोग उदाहरण के रूप में करते हैं कि किस चीज़ को कम स्कोर करना चाहिए। कठिन नकारात्मक वे अंश हैं जो प्रासंगिक लगते हैं, शब्दों या विषय को साझा करते हैं, लेकिन प्रश्न का उत्तर नहीं देते हैं। कठिन नकारात्मक बारीक अंतर सिखाते हैं जो सबसे अधिक मायने रखते हैं, क्योंकि आसान नकारात्मक पहले से ही आधार मॉडल द्वारा अलग कर दिए जाते हैं। अच्छे डेटा स्रोतों में क्लिक के साथ खोज लॉग, लेखों से जुड़े समर्थन टिकट, FAQ पृष्ठ और भाषा मॉडल द्वारा आपके दस्तावेज़ों से उत्पन्न सिंथेटिक प्रश्न शामिल हैं। सिंथेटिक डेटा उपयोगी है लेकिन इसे फ़िल्टर किया जाना चाहिए, क्योंकि उत्पन्न प्रश्न अक्सर दस्तावेज़ के शब्दों की नकल करते हैं और कार्य को बहुत आसान बना देते हैं। एक बार-बार ग़लतफ़हमी यह है कि खराब पुनर्प्राप्ति के लिए फ़ाइन-ट्यूनिंग पहला समाधान है। अक्सर बेहतर चंकिंग, हाइब्रिड सेटअप में BM25 जैसे कीवर्ड सर्च जोड़ना, या रीरैंकर जोड़ना कम प्रयास के साथ बड़ा लाभ देता है। फ़ाइन-ट्यूनिंग तब सबसे सार्थक होती है जब आपने पुनर्प्राप्ति अंतर को मापा है और कम से कम कुछ हज़ार गुणवत्ता वाले जोड़े बना सकते हैं या बना सकते हैं। एक और ख़तरा झूठी नकारात्मकता है: एक खनन किया गया कठिन नकारात्मक जो वास्तव में प्रश्न का उत्तर देता है। मॉडल को दूर धकेलने के लिए उसे प्रशिक्षित करने से गुणवत्ता को नुकसान पहुंचता है। यह भी ध्यान दें कि एम्बेडिंग मॉडल को बदलने के लिए संपूर्ण दस्तावेज़ संग्रह को फिर से एम्बेड करना आवश्यक है, क्योंकि पुराने और नए वेक्टर तुलनीय नहीं हैं।