إعادة ترتيب النماذج
يُعد نظام إعادة الترتيب نموذجًا للمرحلة الثانية يقوم بإعادة تسجيل قائمة مختصرة لنتائج البحث من حيث صلتها بالاستعلام، مما يزيد من حدة الترتيب بعد أن يقوم المسترد السريع بسحب المرشحين.
نظرة عامة
It is a key ingredient in modern search and retrieval-augmented generation (RAG).
الغوص العميق
تعمل أنظمة البحث وRAG عادة على مرحلتين. أولاً، يقوم المسترد السريع (غالبًا ما يكون عبارة عن بحث متجه/تضمين أو كلمة رئيسية BM25) بسحب ما بين 50 إلى 100 مستند مرشح من ملايين المستندات - وهو ما تم تحسينه من أجل الاستدعاء والسرعة. لكن هذا التمرير الأول يسجل الاستعلام والمستندات بشكل منفصل، لذلك يمكن أن يفتقد الفروق الدقيقة. إن إعادة الترتيب هي خطوة الدقة: فهي تأخذ الاستعلام وكل مرشح معًا وتنتج درجة صلة دقيقة، ثم تعيد ترتيب القائمة بحيث ترتفع أفضل النتائج إلى الأعلى. البنية السائدة هي برنامج التشفير المتقاطع: فهو يغذي الاستعلام والمستند بشكل مشترك في محول، مما يسمح لكل رمز استعلام مميز بحضور كل رمز مميز للمستند. هذا التفاعل العميق يجعل القائمين على إعادة الترتيب أكثر دقة بكثير من تضمين التشابه، وذلك على حساب التشغيل مرة واحدة لكل مرشح.
البصيرة الفنية
التباين هو التشفير الثنائي مقابل التشفير المتقاطع. يقوم جهاز التشفير الثنائي بتضمين الاستعلام والوثيقة بشكل مستقل في المتجهات، لذا فإن التشابه هو منتج نقطي رخيص - سريع وقابل للحساب مسبقًا، ولكنه سطحي. يقوم برنامج التشفير المتقاطع بربط الاستعلام والوثيقة في مدخل واحد وتشغيل تمريرة محول كاملة، مما ينتج عنه درجة صلة واحدة مع اهتمام غني بمستوى الرمز المميز. لا يمكن حسابها مسبقًا، لذا فهي مخصصة لإعادة ترتيب قائمة مختصرة صغيرة. نماذج مثل Cohere Reranker وBGE-reranker تجسد ذلك.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل نماذج إعادة الترتيب
أصبحت عمليات إعادة الترتيب قياسية في خطوط أنابيب RAG لأن السياق الأفضل ترتيبًا يعمل بشكل مباشر على تحسين جودة إجابات LLM ويقلل من الهلوسة. توقع استخدام برامج تشفير أخف وأسرع، وإعادة ترتيب متعددة اللغات ومتعددة الوسائط (النص بالإضافة إلى الصور أو الجداول)، ونوافذ سياق أطول حتى يمكن تسجيل المستندات بأكملها. تتزايد عمليات إعادة الترتيب المعتمدة على LLM والتي تحكم على مرشح كامل تم تعيينه مرة واحدة، وتقوم بعض الأنظمة باستخلاص الأحكام عبر التشفير مرة أخرى إلى مستردات أرخص للحصول على دقة أقرب إلى المرحلة الأولى.
التنفيذ في العالم الحقيقي
يقوم برنامج الدردشة RAG باسترداد 50 قطعة عن طريق تضمين البحث، ثم إعادة الترتيب لإطعام فقط الأجزاء الخمسة الأكثر صلة بسياق LLM
يقوم بحث التجارة الإلكترونية بإعادة ترتيب نتائج المنتجات بحيث تظهر العناصر التي تتطابق بشكل أفضل مع عبارة الاستعلام الكاملة للمتسوق أولاً
Cohere Reranker أو BGE-reranker يعزز دقة البحث في مستندات المؤسسة عبر الآلاف من ملفات PDF الخاصة بالسياسة
تعمل قواعد معارف دعم العملاء على إعادة ترتيب مقالات المساعدة المستردة بحيث يعرض الوكيل الإجابة الوحيدة الأكثر صلة في الأعلى
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reranking Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
اختبار أ/ب لنماذج تعلم الآلة
الأسئلة المتداولة
What is Reranking Models?
يُعد نظام إعادة الترتيب نموذجًا للمرحلة الثانية يقوم بإعادة تسجيل قائمة مختصرة لنتائج البحث من حيث صلتها بالاستعلام، مما يزيد من حدة الترتيب بعد أن يقوم المسترد السريع بسحب المرشحين. وهو عنصر رئيسي في البحث الحديث والجيل المعزز للاسترجاع (RAG).
في مسار الاسترجاع النموذجي المكون من مرحلتين، ما هي وظيفة مُعيد الترتيب؟
المسترد السريع يجلب المرشحين. يقوم مُعيد الترتيب بعد ذلك بإعادة تسجيل تلك القائمة المختصرة لدفع النتائج الأكثر صلة إلى الأعلى.
ما هي البنية التي يستخدمها معظم القائمين على إعادة الترتيب؟
عادةً ما يستخدم القائمون على إعادة الترتيب أجهزة التشفير المتقاطعة واستعلام التغذية والتوثيق بشكل مشترك حتى يتمكن الاهتمام من تصميم تفاعلهم.
لماذا لا يمكن استخدام أداة إعادة الترتيب عبر التشفير للبحث في ملايين المستندات مباشرةً؟
على عكس عمليات التضمين القابلة للحساب مسبقًا، يجب أن يقوم جهاز التشفير المتقاطع بتشغيل ممر محول كامل لكل زوج، لذلك يتم حجزه لقائمة مختصرة صغيرة.
ما هي الميزة الرئيسية لجهاز التشفير الثنائي على جهاز التشفير المتقاطع؟
تقوم أجهزة التشفير الثنائية بتضمين المستندات بشكل مستقل ومقدمًا، مما يتيح البحث السريع عن التشابه عبر مجموعات ضخمة.
كيف تساعد عمليات إعادة الترتيب في تقليل الهلوسة في أنظمة RAG؟
إن السياق الأفضل الترتيب والأكثر صلة يمنح LLM أسسًا دقيقة، مما يقلل من الإجابات الملفقة.