BM25 والاسترجاع المعجمي
BM25 هي وظيفة التصنيف الكلاسيكية القائمة على الكلمات الرئيسية والتي تسجل المستندات حسب عدد مرات ظهور مصطلحات الاستعلام، ويتم تعديلها وفقًا لندرة المصطلح وطول المستند.
نظرة عامة
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
الغوص العميق
BM25 (أفضل 25 مطابقة) هي دالة تصنيف لحقيبة الكلمات من إطار عمل Okapi الاحتمالي في التسعينيات. لكل مصطلح استعلام، فهو يجمع بين ثلاث إشارات: تكرار المصطلح (عدد مرات ظهور الكلمة في مستند، مع تناقص العوائد التي يتم التحكم فيها بواسطة المعلمة k1)، وتكرار المستند العكسي (الكلمات النادرة عبر المجموعة تحسب أكثر)، وتسوية طول المستند (المعلمة ب، لذلك لا يتم تفضيل المستندات الطويلة بشكل غير عادل). اجمع هذه الدرجات لكل فصل وستحصل على تصنيف المستند. لا يحتاج إلى تدريب ويعمل بسرعة مذهلة عبر الفهارس المعكوسة، ولهذا السبب تستخدمه محركات البحث مثل Elasticsearch وLucene بشكل افتراضي. على الرغم من صعود الاسترجاع العصبي، لا يزال BM25 يفوز أو يتعادل في العديد من المعايير، خاصة بالنسبة للمصطلحات النادرة والمعرفات الدقيقة والاستعلامات خارج المجال.
البصيرة الفنية
يتشبع مكون تكرار المصطلح في BM25: تحدد المعلمة k1 مقدار الكلمات المتكررة التي تعزز النتيجة، لذا فإن المصطلح الذي يظهر 50 مرة لا يكون أكثر صلة بـ 50 مرة من مرة واحدة. تمزج المعلمة b بين التردد الخام والتردد الطبيعي. يقوم جيش الدفاع الإسرائيلي بتقليل وزن الكلمات الشائعة مثل "the" ويكافئ الكلمات المميزة. نظرًا لأنه يعمل على فهرس مقلوب يربط كل كلمة بقائمة المستندات الخاصة بها، فإن تسجيل النقاط يمس المستندات التي تحتوي على مصطلحات استعلام فقط، مما يجعلها فعالة للغاية.
التأثير الاستراتيجي
السرعة والحجم
يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
الوصول والوصول
فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
قرارات أوضح
يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
مستقبل BM25 والاسترجاع المعجمي
ومن غير المرجح أن تختفي BM25؛ بدلاً من ذلك، يتم إقرانها بشكل متزايد بالطرق العصبية في الاسترجاع الهجين، حيث يتم دمج الدرجات المعجمية والكثيفة (غالبًا عبر دمج الرتب المتبادل). تمزج النماذج المتفرقة المستفادة مثل SPLADE بين أسلوب BM25 المتناثر مع ترجيح المصطلح العصبي، وكثيرًا ما يعمل BM25 كمسترد في المرحلة الأولى قبل إعادة الترتيب العصبي. تضمن سرعته وقابليته للتفسير وتكلفة التدريب الصفرية دورًا دائمًا في البحث عن الإنتاج.
التنفيذ في العالم الحقيقي
تصنيف الصلة الافتراضي في Elasticsearch وOpenSearch وApache Lucene/Solr
استرجاع مرشح المرحلة الأولى الذي يغذي أداة إعادة ترتيب عصبية أبطأ في البحث على مرحلتين
البحث عن الكود والسجل حيث يجب أن تتطابق المعرفات الدقيقة وأكواد الأخطاء بدقة
استخراج الأمثلة السلبية الصعبة لتدريب المستردات الكثيفة مثل DPR
المخاطر والدرابزين
يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
خارطة طريق التنفيذ
حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BM25 and Lexical Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
ColBERT استرجاع التفاعل المتأخر
الأسئلة المتداولة
What is BM25 and Lexical Retrieval?
BM25 هي وظيفة التصنيف الكلاسيكية القائمة على الكلمات الرئيسية والتي تسجل المستندات حسب عدد مرات ظهور مصطلحات الاستعلام، ويتم تعديلها وفقًا لندرة المصطلح وطول المستند. منذ عقود من الزمن، لا يزال هذا الخط أساسًا قويًا وموجودًا في كل مكان للبحث بشكل ملحوظ.
ما الذي يستخدمه BM25 بشكل أساسي لتصنيف المستندات؟
يجمع BM25 بين تكرار المصطلح وتكرار المستند العكسي (ندرة المصطلح) وتطبيع طول المستند في درجة الأهمية.
ما هو الدور الذي يلعبه تردد الوثيقة العكسي (IDF) في BM25؟
يكافئ IDF المصطلحات النادرة عبر المجموعة ويقلل من وزن الكلمات الشائعة، نظرًا لأن المطابقات النادرة تكون أكثر إفادة.
لماذا يطبق BM25 تسوية طول المستند (المعلمة b)؟
بدون التطبيع، قد تتراكم المستندات الأطول المزيد من مطابقات المصطلح؛ يتم ضبط المعلمة b للطول بحيث تكون المقارنات عادلة.
ما هي بنية البيانات التي تجعل BM25 سريعًا على نطاق واسع؟
يتيح الفهرس المقلوب لـ BM25 تسجيل المستندات التي تحتوي على مصطلحات استعلام فقط، مما يجعل عملية الاسترجاع فعالة للغاية.