SıradakiSonraki rehber
ColBERT Geç Etkileşim Erişimi
Dil Yapay Zeka
Dil AI KILAVUZU
BM25 ve Sözcüksel Erişim
BM25, belgeleri sorgu terimlerinin görünme sıklığına göre puanlayan, terimin nadirliğine ve belge uzunluğuna göre ayarlanan klasik anahtar kelimeye dayalı sıralama işlevidir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Onlarca yıllık bir geçmişe sahip olmasına rağmen, arama için son derece güçlü ve her yerde bulunan bir temel olmaya devam ediyor.
Derin Dalış
BM25 (En İyi Eşleşen 25), 1990'ların olasılıksal Okapi çerçevesinden gelen bir kelime çantası sıralama işlevidir. Her sorgu terimi için üç sinyali birleştirir: terim sıklığı (kelimenin bir belgede ne sıklıkta göründüğü, k1 parametresi tarafından kontrol edilen azalan getirilerle), ters belge sıklığı (koleksiyondaki daha nadir kelimeler daha fazla sayılır) ve belge uzunluğu normalizasyonu (b parametresi, dolayısıyla uzun belgeler haksız yere tercih edilmez). Bu dönem başına puanları topladığınızda belgenin sıralamasını elde edersiniz. Herhangi bir eğitime ihtiyaç duymaz ve ters çevrilmiş indeksler aracılığıyla son derece hızlı çalışır; bu nedenle Elasticsearch ve Lucene gibi arama motorları onu varsayılan olarak kullanır. Nöral erişimdeki artışa rağmen BM25, özellikle nadir terimler, kesin tanımlayıcılar ve alan dışı sorgular için birçok kıyaslamada hâlâ kazanıyor veya berabere kalıyor.
Gerçek Dünya Uygulaması
Elasticsearch, OpenSearch ve Apache Lucene/Solr'da varsayılan alaka sıralaması
İki aşamalı aramada daha yavaş bir sinirsel yeniden sıralamayı besleyen birinci aşama aday alımı
Tam tanımlayıcıların ve hata kodlarının tam olarak eşleşmesi gereken yerlerde kod ve günlük araması
DPR gibi yoğun avcıları eğitmek için sert olumsuz örneklerin çıkarılması
BM25'in Geleceği ve Sözcük Erişimi
BM25'in yok olması pek olası değil; bunun yerine, sözcüksel ve yoğun puanların birleştirildiği (genellikle karşılıklı sıralama füzyonu yoluyla) hibrit erişimde sinirsel yöntemlerle giderek daha fazla eşleştiriliyor. SPLADE gibi öğrenilmiş seyrek modeller, BM25 tarzı seyrekliği sinirsel terim ağırlıklandırmasıyla harmanlar ve BM25 sıklıkla sinirsel yeniden sıralamalardan önce ilk aşama toplayıcı olarak hizmet eder. Hızı, yorumlanabilirliği ve sıfır eğitim maliyeti, üretim aramada kalıcı bir rolü garanti eder.
Uygulamaya koymak
Neden önemli?
- Hız ve ölçek. Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
- Erişim ve erişim. Diller ve iletişim tarzları arasında erişimi genişletir.
- Daha net kararlar. Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Dikkat edin
- Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
- İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
- Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Sonraki adımlar
- Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
- Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
- Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
- Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the BM25 and Lexical Retrieval quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
BM25 ve Sözcüksel Erişim nedir?
BM25, belgeleri sorgu terimlerinin görünme sıklığına göre puanlayan, terimin nadirliğine ve belge uzunluğuna göre ayarlanan klasik anahtar kelimeye dayalı sıralama işlevidir. Onlarca yıllık bir geçmişe sahip olmasına rağmen, arama için son derece güçlü ve her yerde bulunan bir temel olmaya devam ediyor.
BM25 belgeleri sıralamak için öncelikle neyi kullanıyor?
BM25 terim sıklığını, ters belge sıklığını (terim nadirliği) ve belge uzunluğu normalizasyonunu bir alaka puanı halinde birleştirir.
BM25'te ters belge sıklığının (IDF) rolü nedir?
IDF, koleksiyonda nadir bulunan terimleri ödüllendirir ve nadir eşleşmeler daha bilgilendirici olduğundan ortak kelimelerin ağırlığını azaltır.
BM25 neden belge uzunluğu normalizasyonunu (b parametresi) uyguluyor?
Normalleştirme olmadan, daha uzun belgelerde daha fazla dönem eşleşmesi biriktirilir; b parametresi uzunluğa göre ayarlanır, böylece karşılaştırmalar adil olur.
Hangi veri yapısı BM25'i geniş ölçekte hızlı kılıyor?
Tersine çevrilmiş bir dizin, BM25'in yalnızca sorgu terimlerini içeren belgeleri puanlamasına olanak tanıyarak, erişimi çok verimli hale getirir.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi