التاليالدليل التالي
ColBERT استرجاع التفاعل المتأخر
لغة الذكاء الاصطناعي
دليل اللغة AI
BM25 والاسترجاع المعجمي
BM25 هي وظيفة التصنيف الكلاسيكية القائمة على الكلمات الرئيسية والتي تسجل المستندات حسب عدد مرات ظهور مصطلحات الاستعلام، ويتم تعديلها وفقًا لندرة المصطلح وطول المستند.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
الغوص العميق
BM25 (أفضل 25 مطابقة) هي دالة تصنيف لحقيبة الكلمات من إطار عمل Okapi الاحتمالي في التسعينيات. لكل مصطلح استعلام، فهو يجمع بين ثلاث إشارات: تكرار المصطلح (عدد مرات ظهور الكلمة في مستند، مع تناقص العوائد التي يتم التحكم فيها بواسطة المعلمة k1)، وتكرار المستند العكسي (الكلمات النادرة عبر المجموعة تحسب أكثر)، وتسوية طول المستند (المعلمة ب، لذلك لا يتم تفضيل المستندات الطويلة بشكل غير عادل). اجمع هذه الدرجات لكل فصل وستحصل على تصنيف المستند. لا يحتاج إلى تدريب ويعمل بسرعة مذهلة عبر الفهارس المعكوسة، ولهذا السبب تستخدمه محركات البحث مثل Elasticsearch وLucene بشكل افتراضي. على الرغم من صعود الاسترجاع العصبي، لا يزال BM25 يفوز أو يتعادل في العديد من المعايير، خاصة بالنسبة للمصطلحات النادرة والمعرفات الدقيقة والاستعلامات خارج المجال.
التنفيذ في العالم الحقيقي
تصنيف الصلة الافتراضي في Elasticsearch وOpenSearch وApache Lucene/Solr
استرجاع مرشح المرحلة الأولى الذي يغذي أداة إعادة ترتيب عصبية أبطأ في البحث على مرحلتين
البحث عن الكود والسجل حيث يجب أن تتطابق المعرفات الدقيقة وأكواد الأخطاء بدقة
استخراج الأمثلة السلبية الصعبة لتدريب المستردات الكثيفة مثل DPR
مستقبل BM25 والاسترجاع المعجمي
ومن غير المرجح أن تختفي BM25؛ بدلاً من ذلك، يتم إقرانها بشكل متزايد بالطرق العصبية في الاسترجاع الهجين، حيث يتم دمج الدرجات المعجمية والكثيفة (غالبًا عبر دمج الرتب المتبادل). تمزج النماذج المتفرقة المستفادة مثل SPLADE بين أسلوب BM25 المتناثر مع ترجيح المصطلح العصبي، وكثيرًا ما يعمل BM25 كمسترد في المرحلة الأولى قبل إعادة الترتيب العصبي. تضمن سرعته وقابليته للتفسير وتكلفة التدريب الصفرية دورًا دائمًا في البحث عن الإنتاج.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
- الوصول والوصول. فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
- قرارات أوضح. يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
احترس من
- يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
- يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
- قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
الخطوات التالية
- حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
- استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
- احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
- تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the BM25 and Lexical Retrieval quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is BM25 and Lexical Retrieval?
BM25 هي وظيفة التصنيف الكلاسيكية القائمة على الكلمات الرئيسية والتي تسجل المستندات حسب عدد مرات ظهور مصطلحات الاستعلام، ويتم تعديلها وفقًا لندرة المصطلح وطول المستند. منذ عقود من الزمن، لا يزال هذا الخط أساسًا قويًا وموجودًا في كل مكان للبحث بشكل ملحوظ.
ما الذي يستخدمه BM25 بشكل أساسي لتصنيف المستندات؟
يجمع BM25 بين تكرار المصطلح وتكرار المستند العكسي (ندرة المصطلح) وتطبيع طول المستند في درجة الأهمية.
ما هو الدور الذي يلعبه تردد الوثيقة العكسي (IDF) في BM25؟
يكافئ IDF المصطلحات النادرة عبر المجموعة ويقلل من وزن الكلمات الشائعة، نظرًا لأن المطابقات النادرة تكون أكثر إفادة.
لماذا يطبق BM25 تسوية طول المستند (المعلمة b)؟
بدون التطبيع، قد تتراكم المستندات الأطول المزيد من مطابقات المصطلح؛ يتم ضبط المعلمة b للطول بحيث تكون المقارنات عادلة.
ما هي بنية البيانات التي تجعل BM25 سريعًا على نطاق واسع؟
يتيح الفهرس المقلوب لـ BM25 تسجيل المستندات التي تحتوي على مصطلحات استعلام فقط، مما يجعل عملية الاسترجاع فعالة للغاية.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع