दस्तावेज़ चंकिंग रणनीतियाँ

The chunk size and boundaries quietly determine retrieval quality, so getting them right often matters more than picking a fancier model.

चंकिंग बड़े दस्तावेज़ों को काटने के आकार के अंशों में बदल देता है जो एक एम्बेडिंग मॉडल में फिट होते हैं और प्रश्न पूछे जाने के तरीके के अनुरूप होते हैं। निश्चित-आकार की चंकिंग एक टोकन या वर्ण गणना द्वारा विभाजित होती है, अक्सर ओवरलैप के साथ ताकि एक सीमा तक फैला हुआ वाक्य अनाथ न हो। पुनरावर्ती चंकिंग प्राकृतिक संरचना का सम्मान करने के लिए विभाजकों (पैराग्राफ, फिर वाक्य, फिर शब्द) के पदानुक्रम के साथ विभाजित होती है। सिमेंटिक चंकिंग समानता को एम्बेड करके वाक्यों को समूहित करता है, जहां विषय बदलता है उसे तोड़ता है। दस्तावेज़-जागरूक चंकिंग स्वयं प्रारूप का अनुसरण करती है, मार्कडाउन शीर्षकों, HTML टैग्स या कोड फ़ंक्शंस पर विभाजित होती है। मुख्य तनाव ग्रैन्युलैरिटी है: छोटे टुकड़े सटीक मिलान देते हैं लेकिन आसपास के संदर्भ को खो देते हैं, जबकि बड़े हिस्से संदर्भ रखते हैं लेकिन प्रासंगिकता को कम करते हैं और टोकन सीमा से अधिक हो सकते हैं। कई पाइपलाइन पुनर्प्राप्ति के लिए छोटे हिस्से संग्रहीत करती हैं फिर भी मॉडल में विस्तारित मूल मार्ग फ़ीड करती हैं।