LegközelebbKövetkező útmutató
ColBERT késői interakciós visszakeresés
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A BM25 a klasszikus kulcsszó-alapú rangsoroló funkció, amely a lekérdezési kifejezések megjelenési gyakorisága alapján pontozza a dokumentumokat, a kifejezések ritkaságához és a dokumentum hosszához igazítva.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Évtizedek óta továbbra is figyelemreméltóan erős és mindenütt jelen lévő kiindulási pont a kereséshez.
A BM25 (Best Matching 25) egy szavakból álló rangsoroló függvény az 1990-es évek valószínűségi Okapi keretrendszeréből. Minden lekérdezési kifejezéshez három jelet kombinál: kifejezés gyakorisága (milyen gyakran jelenik meg a szó egy dokumentumban, a k1 paraméter által szabályozott csökkenő hozamokkal), inverz dokumentumgyakoriság (a gyűjteményben a ritkább szavak többet számítanak) és a dokumentum hosszának normalizálása (b paraméter, így a hosszú dokumentumok nem részesülnek méltánytalan előnyben). Adja össze ezeket a periódusonkénti pontszámokat, és megkapja a dokumentum rangját. Nem igényel képzést, és rendkívül gyorsan fut fordított indexeken keresztül, ezért az olyan keresőmotorok, mint az Elasticsearch és a Lucene alapértelmezés szerint használják. A neurális visszakeresés térnyerése ellenére a BM25 továbbra is nyer vagy döntetlen sok benchmarkon, különösen a ritka kifejezések, a pontos azonosítók és a domainen kívüli lekérdezések esetében.
Alapértelmezett relevanciarangsor az Elasticsearch, az OpenSearch és az Apache Lucene/Solr szolgáltatásokban
Első fokozatú jelöltek lekérése, amely egy lassabb idegi átsorolót táplál a kétlépcsős keresés során
Kód- és naplókeresés, ahol a pontos azonosítóknak és hibakódoknak pontosan meg kell egyeznie
Kemény negatív példák bányászata a sűrű retrieverek, például a DPR képzésére
A BM25 valószínűleg nem tűnik el; ehelyett egyre inkább a neurális módszerekkel párosul a hibrid visszakeresésben, ahol a lexikális és a sűrű pontszámok egyesülnek (gyakran reciprok rang-fúzió révén). Az olyan tanult ritka modellek, mint a SPLADE, a BM25-stílusú ritkaságot neurális terminussúlyozással vegyítik, és a BM25 gyakran első fokozatú retrieverként szolgál a neurális átrendezők előtt. Gyorsasága, értelmezhetősége és nulla képzési költsége garantálja a tartós szerepvállalást a gyártáskeresésben.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A BM25 a klasszikus kulcsszó-alapú rangsoroló funkció, amely a lekérdezési kifejezések megjelenési gyakorisága alapján pontozza a dokumentumokat, a kifejezések ritkaságához és a dokumentum hosszához igazítva. Évtizedek óta továbbra is figyelemreméltóan erős és mindenütt jelen lévő kiindulási pont a kereséshez.
A BM25 egyesíti a kifejezések gyakoriságát, az inverz dokumentumgyakoriságot (termritkaság) és a dokumentumhosszúság normalizálását egy relevancia pontszámba.
Az IDF jutalmazza azokat a kifejezéseket, amelyek ritkák a gyűjteményben, és csökkenti a gyakori szavak súlyát, mivel a ritka egyezések informatívabbak.
Normalizálás nélkül a hosszabb dokumentumok több kifejezésegyezést halmoznának fel; a b paraméter a hosszhoz igazodik, így az összehasonlítások igazságosak.
Az invertált index lehetővé teszi, hogy a BM25 csak a lekérdezési kifejezéseket tartalmazó dokumentumokat pontozza, így a visszakeresés nagyon hatékony.
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
ColBERT késői interakciós visszakeresés
Nyelvi AI