نظرة عامة
BM25 هي وظيفة التصنيف الكلاسيكية القائمة على الكلمات الرئيسية والتي تسجل المستندات حسب عدد مرات ظهور مصطلحات الاستعلام، ويتم تعديلها وفقًا لندرة المصطلح وطول المستند. منذ عقود من الزمن، لا يزال هذا الخط أساسًا قويًا وموجودًا في كل مكان للبحث بشكل ملحوظ.
يعد BM25 وLexical Retrieval جزءًا من مجموعة لغات الذكاء الاصطناعي المستخدمة لقراءة وإنشاء وتصنيف وتحويل النص والكلام على نطاق واسع.
الغوص العميق
BM25 (أفضل 25 مطابقة) هي دالة تصنيف لحقيبة الكلمات من إطار عمل Okapi الاحتمالي في التسعينيات. لكل مصطلح استعلام، فهو يجمع بين ثلاث إشارات: تكرار المصطلح (عدد مرات ظهور الكلمة في مستند، مع تناقص العوائد التي يتم التحكم فيها بواسطة المعلمة k1)، وتكرار المستند العكسي (الكلمات النادرة عبر المجموعة تحسب أكثر)، وتسوية طول المستند (المعلمة ب، لذلك لا يتم تفضيل المستندات الطويلة بشكل غير عادل). اجمع هذه الدرجات لكل فصل وستحصل على تصنيف المستند. لا يحتاج إلى تدريب ويعمل بسرعة مذهلة عبر الفهارس المعكوسة، ولهذا السبب تستخدمه محركات البحث مثل Elasticsearch وLucene بشكل افتراضي. على الرغم من صعود الاسترجاع العصبي، لا يزال BM25 يفوز أو يتعادل في العديد من المعايير، خاصة بالنسبة للمصطلحات النادرة والمعرفات الدقيقة والاستعلامات خارج المجال.
البصيرة الفنية
يتشبع مكون تكرار المصطلح في BM25: تحدد المعلمة k1 مقدار الكلمات المتكررة التي تعزز النتيجة، لذا فإن المصطلح الذي يظهر 50 مرة لا يكون أكثر صلة بـ 50 مرة من مرة واحدة. تمزج المعلمة b بين التردد الخام والتردد الطبيعي. يقوم جيش الدفاع الإسرائيلي بتقليل وزن الكلمات الشائعة مثل "the" ويكافئ الكلمات المميزة. نظرًا لأنه يعمل على فهرس مقلوب يربط كل كلمة بقائمة المستندات الخاصة بها، فإن تسجيل النقاط يمس المستندات التي تحتوي على مصطلحات استعلام فقط، مما يجعلها فعالة للغاية.
إتقان BM25 والاسترجاع المعجمي
BM25 هي وظيفة التصنيف الكلاسيكية القائمة على الكلمات الرئيسية والتي تسجل المستندات حسب عدد مرات ظهور مصطلحات الاستعلام، ويتم تعديلها وفقًا لندرة المصطلح وطول المستند. منذ عقود من الزمن، لا يزال هذا الخط أساسًا قويًا وموجودًا في كل مكان للبحث بشكل ملحوظ. يعد BM25 وLexical Retrieval جزءًا من مجموعة لغات الذكاء الاصطناعي المستخدمة لقراءة وإنشاء وتصنيف وتحويل النص والكلام على نطاق واسع. لبناء فهم عميق، تعامل مع BM25 وLexical Retrieval كنموذج تشغيل، وليس كميزة واحدة: تحديد النتائج المرغوبة، وتوضيح الافتراضات، وفصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.
من الناحية العملية، تستخدم الفرق القوية BM25 وتصميم Lexical Retrieval للمطالبات والاسترجاع والمراجعة كنظام اتصال متكامل واحد. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي الوقت نفسه، يمكن للحقائق المهلوسة أن تدخل التقارير أو التدفقات الداعمة أو مخرجات البحث بهدوء. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.
التأثير الاستراتيجي
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
فهو يوسع الوصول عبر اللغات وأنماط الاتصال. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
التنفيذ في العالم الحقيقي
تصنيف الصلة الافتراضي في Elasticsearch وOpenSearch وApache Lucene/Solr
استرجاع مرشح المرحلة الأولى الذي يغذي أداة إعادة ترتيب عصبية أبطأ في البحث على مرحلتين
البحث عن الكود والسجل حيث يجب أن تتطابق المعرفات الدقيقة وأكواد الأخطاء بدقة
استخراج الأمثلة السلبية الصعبة لتدريب المستردات الكثيفة مثل DPR
أنماط التنفيذ
BM25 والاسترجاع المعجمي في الممارسة العملية
تصنيف الصلة الافتراضي في Elasticsearch وOpenSearch وApache Lucene/Solr.
عادةً ما تحصل فرق الملاءمة الافتراضية في Elasticsearch وOpenSearch وApache Lucene/Solr على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
BM25 والاسترجاع المعجمي في الممارسة العملية
استرجاع مرشح المرحلة الأولى الذي يغذي أداة إعادة ترتيب عصبية أبطأ في البحث على مرحلتين.
استرجاع المرشح في المرحلة الأولى الذي يغذي أداة إعادة ترتيب عصبية أبطأ في البحث على مرحلتين، عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد عتبات الجودة مقدمًا، وتحافظ على مسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
BM25 والاسترجاع المعجمي في الممارسة العملية
البحث عن الكود والسجل حيث يجب أن تتطابق المعرفات الدقيقة وأكواد الأخطاء بدقة.
البحث عن التعليمات البرمجية والسجلات حيث يجب أن تتطابق المعرفات الدقيقة وأكواد الأخطاء بدقة عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
BM25 والاسترجاع المعجمي في الممارسة العملية
استخراج الأمثلة السلبية الصعبة لتدريب المستردات الكثيفة مثل DPR.
عادةً ما يؤدي استخراج الأمثلة السلبية الصعبة لتدريب المستردين الكثيفين مثل فرق DPR إلى نتائج أفضل عندما يحددون حدود الجودة مقدمًا، ويحافظون على مسار تصعيد بشري لحالات الحافة، ويتتبعون مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.