Nyelvi AI ÚTMUTATÓ

BM25 és Lexical Retrieval

A BM25 a klasszikus kulcsszó-alapú rangsoroló funkció, amely a lekérdezési kifejezések megjelenési gyakorisága alapján pontozza a dokumentumokat, a kifejezések ritkaságához és a dokumentum hosszához igazítva.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A BM25 és a Lexical Retrieval jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Évtizedek óta továbbra is figyelemreméltóan erős és mindenütt jelen lévő kiindulási pont a kereséshez.

Mély merülés

A BM25 (Best Matching 25) egy szavakból álló rangsoroló függvény az 1990-es évek valószínűségi Okapi keretrendszeréből. Minden lekérdezési kifejezéshez három jelet kombinál: kifejezés gyakorisága (milyen gyakran jelenik meg a szó egy dokumentumban, a k1 paraméter által szabályozott csökkenő hozamokkal), inverz dokumentumgyakoriság (a gyűjteményben a ritkább szavak többet számítanak) és a dokumentum hosszának normalizálása (b paraméter, így a hosszú dokumentumok nem részesülnek méltánytalan előnyben). Adja össze ezeket a periódusonkénti pontszámokat, és megkapja a dokumentum rangját. Nem igényel képzést, és rendkívül gyorsan fut fordított indexeken keresztül, ezért az olyan keresőmotorok, mint az Elasticsearch és a Lucene alapértelmezés szerint használják. A neurális visszakeresés térnyerése ellenére a BM25 továbbra is nyer vagy döntetlen sok benchmarkon, különösen a ritka kifejezések, a pontos azonosítók és a domainen kívüli lekérdezések esetében.

Valós megvalósítás

Alapértelmezett relevanciarangsor az Elasticsearch, az OpenSearch és az Apache Lucene/Solr szolgáltatásokban

Első fokozatú jelöltek lekérése, amely egy lassabb idegi átsorolót táplál a kétlépcsős keresés során

Kód- és naplókeresés, ahol a pontos azonosítóknak és hibakódoknak pontosan meg kell egyeznie

Kemény negatív példák bányászata a sűrű retrieverek, például a DPR képzésére

A BM25 és a Lexical Retrieval jövője

A BM25 valószínűleg nem tűnik el; ehelyett egyre inkább a neurális módszerekkel párosul a hibrid visszakeresésben, ahol a lexikális és a sűrű pontszámok egyesülnek (gyakran reciprok rang-fúzió révén). Az olyan tanult ritka modellek, mint a SPLADE, a BM25-stílusú ritkaságot neurális terminussúlyozással vegyítik, és a BM25 gyakran első fokozatú retrieverként szolgál a neurális átrendezők előtt. Gyorsasága, értelmezhetősége és nulla képzési költsége garantálja a tartós szerepvállalást a gyártáskeresésben.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
  • Hozzáférés és elérés. Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
  • Tisztább döntések. A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.

Vigyázz

  • A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
  • Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
  • Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.

Következő lépések

  1. A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
  2. Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
  3. Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
  4. Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the BM25 and Lexical Retrieval quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a BM25 és a Lexical Retrieval?

A BM25 a klasszikus kulcsszó-alapú rangsoroló funkció, amely a lekérdezési kifejezések megjelenési gyakorisága alapján pontozza a dokumentumokat, a kifejezések ritkaságához és a dokumentum hosszához igazítva. Évtizedek óta továbbra is figyelemreméltóan erős és mindenütt jelen lévő kiindulási pont a kereséshez.

Mit használ a BM25 elsősorban a dokumentumok rangsorolására?

A BM25 egyesíti a kifejezések gyakoriságát, az inverz dokumentumgyakoriságot (termritkaság) és a dokumentumhosszúság normalizálását egy relevancia pontszámba.

Milyen szerepet játszik az inverz dokumentumfrekvencia (IDF) a BM25-ben?

Az IDF jutalmazza azokat a kifejezéseket, amelyek ritkák a gyűjteményben, és csökkenti a gyakori szavak súlyát, mivel a ritka egyezések informatívabbak.

Miért alkalmazza a BM25 dokumentumhossz-normálást (a b paramétert)?

Normalizálás nélkül a hosszabb dokumentumok több kifejezésegyezést halmoznának fel; a b paraméter a hosszhoz igazodik, így az összehasonlítások igazságosak.

Milyen adatstruktúra teszi gyorssá a BM25-öt?

Az invertált index lehetővé teszi, hogy a BM25 csak a lekérdezési kifejezéseket tartalmazó dokumentumokat pontozza, így a visszakeresés nagyon hatékony.

In the standard BM25 formula, what effect does setting b to zero have?

b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.