NastępnyNastępny poradnik
ColBERT Odzyskiwanie późnych interakcji
Językowa sztuczna inteligencja
PRZEWODNIK Językowy AI
BM25 i wyszukiwanie leksykalne
BM25 to klasyczna funkcja rankingu oparta na słowach kluczowych, która ocenia dokumenty na podstawie częstotliwości pojawiania się terminów w zapytaniu, skorygowanej pod kątem rzadkości terminów i długości dokumentu.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Głębokie nurkowanie
BM25 (Best Matching 25) to funkcja rankingowa oparta na zbiorze słów, opracowana w probabilistycznych ramach Okapi z lat 90-tych. Dla każdego terminu zapytania łączy trzy sygnały: częstotliwość terminu (jak często słowo pojawia się w dokumencie, przy malejących wynikach kontrolowanych przez parametr k1), odwrotną częstotliwość dokumentu (rzadsze słowa w kolekcji liczą się bardziej) i normalizacja długości dokumentu (parametr b, aby długie dokumenty nie były niesprawiedliwie faworyzowane). Zsumuj te wyniki za semestr, a otrzymasz rangę dokumentu. Nie wymaga szkolenia i działa niesamowicie szybko dzięki odwróconym indeksom, dlatego wyszukiwarki takie jak Elasticsearch i Lucene domyślnie go używają. Pomimo wzrostu popularności wyszukiwania neuronowego, BM25 nadal wygrywa lub remisuje w wielu testach porównawczych, zwłaszcza w przypadku rzadkich terminów, dokładnych identyfikatorów i zapytań spoza domeny.
Implementacja w świecie rzeczywistym
Domyślny ranking trafności w Elasticsearch, OpenSearch i Apache Lucene/Solr
Pobieranie kandydatów w pierwszym etapie, które zasila wolniejszą zmianę rankingu neuronowego w wyszukiwaniu dwuetapowym
Wyszukiwanie kodów i dzienników, gdzie dokładne identyfikatory i kody błędów muszą być dokładnie dopasowane
Wydobywanie twardych negatywnych przykładów w celu szkolenia gęstych retrieverów, takich jak DPR
Przyszłość BM25 i wyszukiwania leksykalnego
Jest mało prawdopodobne, aby BM25 zniknął; zamiast tego jest coraz częściej łączony z metodami neuronowymi w wyszukiwaniu hybrydowym, gdzie wyniki leksykalne i gęste są łączone (często poprzez wzajemną fuzję rang). Wyuczone, rzadkie modele, takie jak SPLADE, łączą rzadkość w stylu BM25 z ważeniem terminów neuronowych, a BM25 często służy jako aporter pierwszego stopnia przed ponownym rankingiem neuronów. Jego szybkość, interpretowalność i zerowy koszt szkolenia gwarantują trwałą rolę w wyszukiwaniu produkcji.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
- Dostęp i zasięg. Rozszerza dostęp w różnych językach i stylach komunikacji.
- Jaśniejsze decyzje. Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Uważaj na
- Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
- Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
- Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Kolejne kroki
- Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
- Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
- Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
- Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the BM25 and Lexical Retrieval quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is BM25 and Lexical Retrieval?
BM25 to klasyczna funkcja rankingu oparta na słowach kluczowych, która ocenia dokumenty na podstawie częstotliwości pojawiania się terminów w zapytaniu, skorygowanej pod kątem rzadkości terminów i długości dokumentu. Mimo upływu kilkudziesięciu lat pozostaje niezwykle silną i wszechobecną podstawą wyszukiwania.
Czego głównie używa BM25 do oceniania dokumentów?
BM25 łączy częstotliwość terminów, odwrotną częstotliwość dokumentów (rzadkość terminów) i normalizację długości dokumentu w celu uzyskania wyniku trafności.
Jaką rolę odgrywa odwrotna częstotliwość dokumentów (IDF) w BM25?
IDF nagradza terminy, które są rzadkie w zbiorze i zmniejsza wagę popularnych słów, ponieważ rzadkie dopasowania dostarczają więcej informacji.
Dlaczego BM25 stosuje normalizację długości dokumentu (parametr b)?
Bez normalizacji dłuższe dokumenty gromadziłyby więcej dopasowań terminowych; parametr b dostosowuje długość, więc porównania są sprawiedliwe.
Jaka struktura danych sprawia, że BM25 jest szybki na dużą skalę?
Odwrócony indeks umożliwia BM25 ocenianie tylko dokumentów zawierających terminy zapytania, dzięki czemu wyszukiwanie jest bardzo wydajne.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat