मूल दस्तावेज़ और छोटे से बड़े पुनर्प्राप्ति

निश्चित आकार का टुकड़ा व्यापार बंद करने के लिए बाध्य करता है। छोटे-छोटे टुकड़े, जैसे कुछ वाक्य, तीक्ष्ण एम्बेडिंग उत्पन्न करते हैं: वेक्टर एक विचार का प्रतिनिधित्व करता है, इसलिए उस विचार के बारे में एक प्रश्न उससे निकटता से मेल खाता है। लेकिन मॉडल के अच्छे उत्तर देने के लिए दो-वाक्य वाले खंड में शायद ही कभी पर्याप्त संदर्भ होता है; यह परिभाषा को तीन पैराग्राफ पहले या अगले वाक्य में अपवाद को छोड़ सकता है। बड़े खंड उस संदर्भ को ले जाते हैं, लेकिन उनकी एम्बेडिंग कई विचारों को एक साथ धुंधला कर देती है, इसलिए पुनर्प्राप्ति कम सटीक हो जाती है और प्रासंगिक मार्ग को उस खंड द्वारा रेखांकित किया जा सकता है जो केवल विषय पर है। छोटी से बड़ी पुनर्प्राप्ति दो नौकरियों को विभाजित करती है। सिस्टम खोज के लिए छोटे बच्चों के हिस्सों को अनुक्रमित करता है, और प्रत्येक बच्चा बड़े माता-पिता के लिए एक संकेतक रखता है: एक अनुभाग, एक पृष्ठ, या संपूर्ण दस्तावेज़। पूछताछ के समय यह सबसे अच्छे बच्चों को ढूंढता है, फिर उनके माता-पिता को ढूंढता है और लौटा देता है। यदि कई बच्चे एक ही माता-पिता को साझा करते हैं, तो माता-पिता को एक बार भेजा जाता है, जो डुप्लिकेट को भी हटा देता है। LangChain का ParentDocumentRetriever इसे बच्चों के लिए एक वेक्टर स्टोर और माता-पिता के लिए एक अलग दस्तावेज़ स्टोर के साथ लागू करता है। LlamaIndex संबंधित पैटर्न प्रदान करता है: वाक्य-विंडो पुनर्प्राप्ति, जो एक मिलान वाक्य और पड़ोसी वाक्यों की एक निश्चित संख्या लौटाता है, और ऑटो-मर्जिंग पुनर्प्राप्ति, जो कई पुनर्प्राप्त पत्ते के टुकड़ों को उनके साझा मूल नोड के साथ बदल देता है जब उनमें से पर्याप्त मेल खाते हैं। यह दृष्टिकोण मैनुअल, अनुबंध, नीतियों और पाठ्यपुस्तकों जैसे संरचित दस्तावेजों पर निश्चित आकार के खंडन को मात देता है, जहां अर्थ आसपास के अनुभाग पर निर्भर करता है। यह कम मदद करता है जब दस्तावेज़ पहले से ही कम होते हैं, या जब माता-पिता इतने बड़े होते हैं कि उनमें से कुछ संदर्भ विंडो को ओवरफ्लो कर देते हैं या अप्रासंगिक पाठ में उत्तर को दफन कर देते हैं। एक आम ग़लतफ़हमी यह है कि यह केवल बड़े टुकड़ों का उपयोग है। ऐसा नहीं है: पुनर्प्राप्ति इकाई और पीढ़ी इकाई जानबूझकर अलग-अलग आकार की हैं, इसलिए आप संदर्भ के मॉडल को कम किए बिना सटीक मिलान बनाए रखते हैं।