ضبط نماذج التضمين للاسترجاع

يقوم نموذج التضمين بتحويل النص إلى ناقل بحيث يكون للنصوص المتشابهة لغويًا ناقلات مماثلة، وعادة ما يتم قياسها عن طريق تشابه جيب التمام. في RAG، يتم تضمين كل من الاستعلامات ومجموعات المستندات، ويتم استرداد الأجزاء الأقرب. يتم تدريب النماذج العامة على شبكة الإنترنت واسعة النطاق وبيانات الأسئلة والأجوبة. إنها تعمل بشكل جيد إلى حد معقول في كل مكان ولكنها قد تواجه صعوبة في التعامل مع المصطلحات المتخصصة وأسماء المنتجات الداخلية والفجوة بين الطريقة التي يسأل بها المستخدم وكيفية كتابة المستند. يؤدي الضبط الدقيق إلى سد هذه الفجوة من خلال بيانات التدريب في ثلاثة أشكال. الأزواج الإيجابية هي استعلام ومقطع يجيب عليه. تستخدم السلبيات داخل الدُفعة المقاطع الأخرى في نفس دفعة التدريب كأمثلة لما يجب أن يحصل على درجات أقل. السلبيات الصعبة هي المقاطع التي تبدو ذات صلة، وتشارك الكلمات أو الموضوع، ولكنها لا تجيب على الاستعلام. إن السلبيات الصعبة تعلم الفروق الدقيقة الأكثر أهمية، لأن السلبيات السهلة مفصولة بالفعل عن طريق النموذج الأساسي. تتضمن مصادر البيانات الجيدة سجلات البحث بالنقرات، وتذاكر الدعم المرتبطة بالمقالات، وصفحات الأسئلة الشائعة، والاستعلامات الاصطناعية التي يتم إنشاؤها من مستنداتك بواسطة نموذج اللغة. تعد البيانات التركيبية مفيدة ولكن يجب تصفيتها، نظرًا لأن الأسئلة التي يتم إنشاؤها غالبًا ما تنسخ صياغة المستند وتجعل المهمة سهلة للغاية. من المفاهيم الخاطئة الشائعة أن الضبط الدقيق هو الحل الأول لضعف الاسترجاع. غالبًا ما يكون التقسيم الأفضل، أو إضافة بحث بالكلمات الرئيسية مثل BM25 في إعداد مختلط، أو إضافة أداة إعادة ترتيب، يعطي مكاسب أكبر بجهد أقل. يكون الضبط الدقيق أكثر أهمية عندما تكون قد قمت بقياس فجوة الاسترجاع ولديك أو تستطيع بناء ما لا يقل عن بضعة آلاف من الأزواج عالية الجودة. هناك مأزق آخر وهو السلبيات الكاذبة: السلبيات القوية المستخرجة التي تجيب بالفعل على الاستعلام. تدريب النموذج على دفعه بعيدًا يضر بالجودة. لاحظ أيضًا أن تغيير نموذج التضمين يتطلب إعادة تضمين مجموعة المستندات بأكملها، لأن المتجهات القديمة والجديدة غير قابلة للمقارنة.