दस्तावेज़ चंकिंग रणनीतियाँ

दस्तावेज़ खंडन पुनर्प्राप्ति और मॉडल संदर्भ के लिए स्रोत पाठ को इकाइयों में विभाजित करता है। खंड आकार, ओवरलैप और संरचना-जागरूक सीमाएँ डिज़ाइन विकल्प हैं जिनका प्रभाव दस्तावेज़ कॉर्पस, रिट्रीवर और मूल्यांकन कार्य पर निर्भर करता है।

AWS दस्तावेज़ प्रति भाग लगभग 300 टोकन के डिफ़ॉल्ट का वर्णन करता है और कहता है कि वाक्य की सीमाओं का सम्मान किया जाता है।

Amazon बेडरॉक एक बफ़र आकार का दस्तावेजीकरण करता है जो नियंत्रित करता है कि एक वाक्य अकेले या आसपास के वाक्यों के साथ अंतर्निहित है या नहीं।

छोटे टुकड़े सटीक रूप से मेल खाते हैं लेकिन आसपास के संदर्भ को छीन लेते हैं, जबकि बड़े हिस्से संदर्भ को संरक्षित करते हैं लेकिन प्रासंगिकता को कम कर सकते हैं और टोकन सीमाओं को प्रभावित कर सकते हैं।

Amazon बेडरॉक का कहना है कि पृष्ठों या अनुभागों जैसी तार्किक दस्तावेज़ सीमाओं का सम्मान करने के लिए पार्स की गई सामग्री को खंडित किया जा सकता है।

अधिक व्यापक संदर्भ प्रदान करने के लिए बेडरॉक ने माता-पिता के प्रतिस्थापन के बाद बच्चे की पुनर्प्राप्ति के दस्तावेज तैयार किए हैं।