तकनीकी गाइड
क्वेरी पुनर्लेखन और बहु-क्वेरी पुनर्प्राप्ति
क्वेरी पुनर्लेखन और बहु-क्वेरी पुनर्प्राप्ति आरएजी तकनीकें हैं जो खोज करने से पहले उपयोगकर्ता के प्रश्न को दोबारा बदलकर, उप-प्रश्नों में तोड़कर, या कई प्रकार उत्पन्न करके और उनके परिणामों को विलय करके बदल देती हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
इस पृष्ठ पर3 मिनट लाल
सिंहावलोकन
वे मायने रखते हैं क्योंकि उपयोगकर्ता अक्सर अस्पष्ट, संवादात्मक या बहु-भागीय प्रश्न पूछते हैं जिनकी शब्दावली दस्तावेजों से मेल नहीं खाती है, और एक बेहतर क्वेरी प्रासंगिक अंशों को सामने ला सकती है जो एक भी शाब्दिक खोज से छूट जाएंगे।
गहरा गोता
पुनर्प्राप्ति गुणवत्ता काफी हद तक क्वेरी पर निर्भर करती है। उपयोगकर्ता छोटे, अस्पष्ट या संवादी प्रश्न लिखते हैं, जबकि दस्तावेज़ अपनी शब्दावली का उपयोग करते हैं। खोज होने से पहले क्वेरी परिवर्तन उस अंतर को बंद कर देता है। सबसे सरल रूप पुनर्लेखन है: एलएलएम उपयोगकर्ता के संदेश को एक स्पष्ट खोज क्वेरी में बदल देता है। मल्टी-टर्न चैट में यह आवश्यक है, जहां फॉलो-अप जैसे "और 2023 में?" इतिहास के बिना इसका कोई मतलब नहीं है, इसलिए सिस्टम बातचीत को एक स्टैंडअलोन क्वेरी में संक्षिप्त कर देता है। अपघटन एक जटिल प्रश्न को उप-प्रश्नों में विभाजित करता है जिन्हें अलग से पुनर्प्राप्त किया जा सकता है, जो तुलना या मल्टी-हॉप प्रश्नों के लिए उपयोगी है। 2023 में Google DeepMind शोधकर्ताओं द्वारा वर्णित स्टेप-बैक प्रॉम्प्टिंग, पृष्ठभूमि सिद्धांतों को पुनः प्राप्त करने के लिए पहले एक अधिक सामान्य प्रश्न पूछता है। मल्टी-क्वेरी पुनर्प्राप्ति प्रश्न के कई प्रकार उत्पन्न करती है, प्रत्येक के लिए एक खोज चलाती है, और परिणामों को मर्ज करती है। LangChain ने इसे अपने MultiQueryRetriever से लोकप्रिय बनाया। आरएजी-फ़्यूज़न कई प्रश्नों को पारस्परिक रैंक फ़्यूज़न (आरआरएफ) के साथ जोड़ता है, जो 2009 में कॉर्मैक, क्लार्क और ब्यूचर द्वारा वर्णित एक विधि है, जो परिणाम सूचियों में प्रत्येक दस्तावेज़ को 1/(k + रैंक) के योग द्वारा स्कोर करता है। जो दस्तावेज़ कई सूचियों में शीर्ष पर दिखाई देते हैं वे तुलनीय कच्चे स्कोर की आवश्यकता के बिना शीर्ष पर पहुंच जाते हैं। एक संबंधित तकनीक, HyDE (हाइपोथेटिकल डॉक्यूमेंट एंबेडिंग, गाओ और सहकर्मी, 2022) में मॉडल एक काल्पनिक उत्तर लिखता है और प्रश्न के बजाय उसे एम्बेड करता है, क्योंकि उत्तर के आकार का पाठ अक्सर एम्बेडिंग स्थान में वास्तविक उत्तर अंशों के करीब बैठता है। भ्रांतियाँ: अधिक प्रश्न हमेशा बेहतर नहीं होते। प्रत्येक वैरिएंट विलंबता और लागत जोड़ता है, और खराब तरीके से जेनरेट किया गया वैरिएंट अप्रासंगिक दस्तावेज़ों को खींचकर उपयोगकर्ता के इरादे से भटक सकता है। पुनर्लेखन से दिनांक या उत्पाद नाम जैसी महत्वपूर्ण बाधाएँ भी दूर हो सकती हैं। इन चरणों को अपनाने से पहले वास्तविक प्रश्नों पर स्मरण और उत्तर गुणवत्ता को मापें।
वास्तविक विश्व कार्यान्वयन
एक चैट सहायक में, अनुवर्ती "अंशकालिक कर्मचारियों के लिए क्या होगा?" पहले की बातचीत का उपयोग करते हुए "अंशकालिक कर्मचारियों के लिए माता-पिता की छुट्टी नीति" जैसी स्टैंडअलोन क्वेरी में फिर से लिखा गया है।
दो क्लाउड प्रदाताओं के मूल्य निर्धारण की तुलना करने वाले प्रश्न को प्रत्येक प्रदाता के लिए अलग-अलग खोजों में विघटित किया जाता है, और उत्तर देने से पहले परिणामों को संयोजित किया जाता है।
एक सपोर्ट बॉट "मेरा ऐप मुझे लॉग आउट करता रहता है" के चार वाक्यांश उत्पन्न करता है, जिसमें सत्र समाप्ति और टोकन रिफ्रेश जैसे तकनीकी शब्द शामिल हैं, और परिणामों को पारस्परिक रैंक फ़्यूज़न के साथ फ़्यूज़ करता है।
एक शोध सहायक पहले एक संकीर्ण प्रश्न के पीछे सामान्य सिद्धांत की खोज करने के लिए स्टेप-बैक प्रॉम्प्टिंग का उपयोग करता है, फिर मॉडल को पृष्ठभूमि और विशिष्टता दोनों देते हुए विशिष्ट विवरण प्राप्त करता है।
क्वेरी पुनर्लेखन और बहु-क्वेरी पुनर्प्राप्ति का भविष्य
जैसे-जैसे एजेंटिक आरएजी फैलता है, क्वेरी परिवर्तन को तेजी से मॉडल द्वारा नियंत्रित किया जाता है जो तय करता है कि क्या खोजना है, जब परिणाम कमजोर दिखते हैं, तो एक निश्चित पुनर्लेखन चरण के बजाय पुनरावृत्ति होती है। इससे अंतर्निहित विचार, विघटन, विविधताएं और संलयन अधिक महत्वपूर्ण हो जाते हैं, भले ही वे कम दिखाई देने लगते हैं। एम्बेडिंग मॉडल और हाइब्रिड खोज में सुधार कुछ शब्दावली बेमेल को कम करते हैं लेकिन अस्पष्ट या संवादात्मक प्रश्नों को स्पष्ट करने की आवश्यकता को दूर नहीं करते हैं। टीमों से अपेक्षा करें कि वे इन तकनीकों का चयनात्मक रूप से उपयोग करें, जब कोई क्वेरी जटिल लगती है या प्रारंभिक पुनर्प्राप्ति कमजोर होती है, तो लागत के साथ गुणवत्ता को संतुलित करने के लिए ट्रिगर किया जाता है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Query Rewriting and Multi-Query Retrieval quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
क्वेरी पुनर्लेखन और बहु-क्वेरी पुनर्प्राप्ति क्या है?
क्वेरी पुनर्लेखन और बहु-क्वेरी पुनर्प्राप्ति आरएजी तकनीकें हैं जो खोज करने से पहले उपयोगकर्ता के प्रश्न को दोबारा बदलकर, उप-प्रश्नों में तोड़कर, या कई प्रकार उत्पन्न करके और उनके परिणामों को विलय करके बदल देती हैं। वे मायने रखते हैं क्योंकि उपयोगकर्ता अक्सर अस्पष्ट, संवादात्मक या बहु-भागीय प्रश्न पूछते हैं जिनकी शब्दावली दस्तावेजों से मेल नहीं खाती है, और एक बेहतर क्वेरी प्रासंगिक अंशों को सामने ला सकती है जो एक भी शाब्दिक खोज से छूट जाएंगे।
मल्टी-टर्न चैट में क्वेरी पुनर्लेखन विशेष रूप से महत्वपूर्ण क्यों है?
एक अनुवर्ती जैसे "और 2023 में?" एक उपयोगी स्टैंडअलोन क्वेरी बनने के लिए वार्तालाप इतिहास की आवश्यकता है।
कौन सी तकनीक तुलना किए जाने वाले प्रत्येक आइटम के लिए तुलना प्रश्न को अलग-अलग खोजों में विभाजित करती है?
अपघटन जटिल या बहु-भागीय प्रश्नों को अलग-अलग प्राप्त उप-प्रश्नों में तोड़ देता है।
स्टेप-बैक प्रॉम्प्टिंग क्या करती है?
Google DeepMind शोधकर्ताओं से स्टेप-बैक प्रॉम्प्टिंग, विशिष्टताओं से पहले सामान्य पृष्ठभूमि को पुनः प्राप्त करता है।
पारस्परिक रैंक फ़्यूज़न में, दस्तावेज़ के स्कोर की गणना कैसे की जाती है?
आरआरएफ दस्तावेज़ वाली प्रत्येक सूची पर 1/(k + रैंक) का योग करता है, जिससे दस्तावेज़ों को कई सूचियों में उच्च स्थान प्राप्त होता है।
वेक्टर खोज और BM25 परिणामों को मर्ज करने के लिए RRF सुविधाजनक क्यों है?
क्योंकि आरआरएफ केवल रैंक पदों का उपयोग करता है, यह उन सूचियों को जोड़ सकता है जिनके कच्चे स्कोर तुलनीय नहीं हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं