DalšíDalší průvodce
Vyhledávání pomocí ColBERT Late Interaction
Jazyk AI
Jazyk AI GUIDE
BM25 je klasická funkce hodnocení založená na klíčových slovech, která hodnotí dokumenty podle toho, jak často se objevují výrazy dotazu, upravená podle vzácnosti výrazů a délky dokumentu.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
BM25 (Best Matching 25) je funkce hodnocení pytle slov z pravděpodobnostního rámce Okapi z 90. let. Pro každý výraz dotazu kombinuje tři signály: četnost výrazů (jak často se slovo vyskytuje v dokumentu, se snižující se návratností řízenou parametrem k1), inverzní četnost dokumentu (vzácnější slova v rámci kolekce počítají více) a normalizaci délky dokumentu (parametr b, takže dlouhé dokumenty nejsou nespravedlivě upřednostňovány). Sečtěte tato skóre za semestr a získáte hodnocení dokumentu. Nepotřebuje žádné školení a běží neuvěřitelně rychle prostřednictvím invertovaných indexů, což je důvod, proč jej vyhledávače jako Elasticsearch a Lucene používají ve výchozím nastavení. Navzdory vzestupu neurálního vyhledávání BM25 stále vyhrává nebo se shoduje v mnoha srovnávacích testech, zejména u vzácných termínů, přesných identifikátorů a dotazů mimo doménu.
Výchozí hodnocení relevance v Elasticsearch, OpenSearch a Apache Lucene/Solr
První fáze vyhledávání kandidátů, která nakrmí pomalejší neurální reranker ve dvoufázovém vyhledávání
Vyhledávání kódu a protokolu, kde se přesné identifikátory a chybové kódy musí přesně shodovat
Těžba tvrdých negativních příkladů pro výcvik hustých retrívrů jako DPR
BM25 pravděpodobně nezmizí; místo toho se stále více spáruje s neurálními metodami v hybridním vyhledávání, kde dochází k fúzi lexikálních a hustých skóre (často prostřednictvím reciproční fúze pozic). Naučené řídké modely jako SPLADE kombinují řídkost ve stylu BM25 s vážením neurálních členů a BM25 často slouží jako retrívr první fáze před neurálními rerankery. Jeho rychlost, interpretovatelnost a nulové náklady na školení zaručují trvalou roli v produkčním vyhledávání.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
BM25 je klasická funkce hodnocení založená na klíčových slovech, která hodnotí dokumenty podle toho, jak často se objevují výrazy dotazu, upravená podle vzácnosti výrazů a délky dokumentu. Desítky let starý zůstává pozoruhodně silným a všudypřítomným výchozím bodem pro vyhledávání.
BM25 kombinuje frekvenci termínů, inverzní frekvenci dokumentů (vzácnost termínu) a normalizaci délky dokumentu do skóre relevance.
IDF odměňuje výrazy, které jsou v kolekci vzácné, a snižuje váhu běžných slov, protože vzácné shody jsou informativnější.
Bez normalizace by delší dokumenty nashromáždily více termínových shod; parametr b se přizpůsobí délce, takže srovnání jsou spravedlivá.
Invertovaný index umožňuje BM25 hodnotit pouze dokumenty, které obsahují výrazy dotazu, díky čemuž je vyhledávání velmi efektivní.
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Vyhledávání pomocí ColBERT Late Interaction
Jazyk AI