استراتيجيات تقطيع المستندات

The chunk size and boundaries quietly determine retrieval quality, so getting them right often matters more than picking a fancier model.

يؤدي التقطيع إلى تحويل المستندات الكبيرة إلى مقاطع صغيرة الحجم تناسب نموذج التضمين وتتوافق مع كيفية طرح الأسئلة. يتم تقسيم القطع ذات الحجم الثابت بواسطة رمز مميز أو عدد أحرف، وغالبًا ما يكون ذلك متداخلًا بحيث لا يتم عزل الجملة التي تمتد عبر الحدود. ينقسم القطع العودي على طول تسلسل هرمي للفواصل (الفقرات، ثم الجمل، ثم الكلمات) لاحترام البنية الطبيعية. يقوم التقطيع الدلالي بتجميع الجمل عن طريق تضمين التشابه، وكسر المكان الذي ينتقل فيه الموضوع. يتبع التوزيع المراعي للمستندات التنسيق نفسه، وينقسم إلى عناوين Markdown، أو علامات HTML، أو وظائف التعليمات البرمجية. التوتر الأساسي هو التفاصيل: الأجزاء الصغيرة تعطي تطابقات دقيقة ولكنها تفقد السياق المحيط، في حين أن الأجزاء الكبيرة تحمل السياق ولكنها ذات صلة مخففة وقد تتجاوز الحدود الرمزية. تقوم العديد من خطوط الأنابيب بتخزين أجزاء صغيرة لاسترجاعها ولكنها تغذي الممرات الرئيسية الموسعة للنموذج.