BM25 i wyszukiwanie leksykalne
BM25 to klasyczna funkcja rankingu oparta na słowach kluczowych, która ocenia dokumenty na podstawie częstotliwości pojawiania się terminów w zapytaniu, skorygowanej pod kątem rzadkości terminów i długości dokumentu.
Przegląd
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Głębokie nurkowanie
BM25 (Best Matching 25) to funkcja rankingowa oparta na zbiorze słów, opracowana w probabilistycznych ramach Okapi z lat 90-tych. Dla każdego terminu zapytania łączy trzy sygnały: częstotliwość terminu (jak często słowo pojawia się w dokumencie, przy malejących wynikach kontrolowanych przez parametr k1), odwrotną częstotliwość dokumentu (rzadsze słowa w kolekcji liczą się bardziej) i normalizacja długości dokumentu (parametr b, aby długie dokumenty nie były niesprawiedliwie faworyzowane). Zsumuj te wyniki za semestr, a otrzymasz rangę dokumentu. Nie wymaga szkolenia i działa niesamowicie szybko dzięki odwróconym indeksom, dlatego wyszukiwarki takie jak Elasticsearch i Lucene domyślnie go używają. Pomimo wzrostu popularności wyszukiwania neuronowego, BM25 nadal wygrywa lub remisuje w wielu testach porównawczych, zwłaszcza w przypadku rzadkich terminów, dokładnych identyfikatorów i zapytań spoza domeny.
Wgląd techniczny
Składnik termin-częstotliwość w BM25 ulega nasyceniu: parametr k1 ogranicza stopień, w jakim powtarzane słowa zwiększają wynik, więc termin pojawiający się 50 razy nie jest 50 razy bardziej trafny niż raz. Parametr b łączy częstotliwość surową i znormalizowaną pod względem długości. IDF zmniejsza wagę popularnych słów, takich jak „the”, i nagradza te wyróżniające się. Ponieważ działa w oparciu o odwrócony indeks odwzorowujący każde słowo na listę dokumentów, punktacja dotyczy tylko dokumentów zawierających zapytania, co czyni ją niezwykle wydajną.
Wpływ strategiczny
Szybkość i skala
Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
Dostęp i zasięg
Rozszerza dostęp w różnych językach i stylach komunikacji.
Jaśniejsze decyzje
Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Przyszłość BM25 i wyszukiwania leksykalnego
Jest mało prawdopodobne, aby BM25 zniknął; zamiast tego jest coraz częściej łączony z metodami neuronowymi w wyszukiwaniu hybrydowym, gdzie wyniki leksykalne i gęste są łączone (często poprzez wzajemną fuzję rang). Wyuczone, rzadkie modele, takie jak SPLADE, łączą rzadkość w stylu BM25 z ważeniem terminów neuronowych, a BM25 często służy jako aporter pierwszego stopnia przed ponownym rankingiem neuronów. Jego szybkość, interpretowalność i zerowy koszt szkolenia gwarantują trwałą rolę w wyszukiwaniu produkcji.
Implementacja w świecie rzeczywistym
Domyślny ranking trafności w Elasticsearch, OpenSearch i Apache Lucene/Solr
Pobieranie kandydatów w pierwszym etapie, które zasila wolniejszą zmianę rankingu neuronowego w wyszukiwaniu dwuetapowym
Wyszukiwanie kodów i dzienników, gdzie dokładne identyfikatory i kody błędów muszą być dokładnie dopasowane
Wydobywanie twardych negatywnych przykładów w celu szkolenia gęstych retrieverów, takich jak DPR
Zagrożenia i poręcze
Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Plan wdrożenia
Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BM25 and Lexical Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
ColBERT Odzyskiwanie późnych interakcji
Często zadawane pytania
What is BM25 and Lexical Retrieval?
BM25 to klasyczna funkcja rankingu oparta na słowach kluczowych, która ocenia dokumenty na podstawie częstotliwości pojawiania się terminów w zapytaniu, skorygowanej pod kątem rzadkości terminów i długości dokumentu. Mimo upływu kilkudziesięciu lat pozostaje niezwykle silną i wszechobecną podstawą wyszukiwania.
Czego głównie używa BM25 do oceniania dokumentów?
BM25 łączy częstotliwość terminów, odwrotną częstotliwość dokumentów (rzadkość terminów) i normalizację długości dokumentu w celu uzyskania wyniku trafności.
Jaką rolę odgrywa odwrotna częstotliwość dokumentów (IDF) w BM25?
IDF nagradza terminy, które są rzadkie w zbiorze i zmniejsza wagę popularnych słów, ponieważ rzadkie dopasowania dostarczają więcej informacji.
Dlaczego BM25 stosuje normalizację długości dokumentu (parametr b)?
Bez normalizacji dłuższe dokumenty gromadziłyby więcej dopasowań terminowych; parametr b dostosowuje długość, więc porównania są sprawiedliwe.
Jaka struktura danych sprawia, że BM25 jest szybki na dużą skalę?
Odwrócony indeks umożliwia BM25 ocenianie tylko dokumentów zawierających terminy zapytania, dzięki czemu wyszukiwanie jest bardzo wydajne.