BM25 ati Igbapada Lexical
BM25 jẹ iṣẹ ipo-orisun koko-ọrọ Ayebaye ti o ṣe iṣiro awọn iwe aṣẹ nipasẹ bii igbagbogbo awọn ofin ibeere yoo han, ti a ṣatunṣe fun aipe ọrọ ati ipari iwe.
Akopọ
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Jin Dive
BM25 (Ti o dara ju Ibaramu 25) jẹ iṣẹ ipo apo-ti-ọrọ lati ilana Okapi iṣeeṣe ti awọn 1990s. Fun igba ibeere kọọkan o dapọ awọn ifihan agbara mẹta: igbohunsafẹfẹ igba (igba melo ni ọrọ naa han ninu iwe-ipamọ kan, pẹlu awọn ipadabọ idinku ti o ṣakoso nipasẹ paramita k1), igbohunsafẹfẹ iwe-itumọ (awọn ọrọ ti o ṣọwọn kọja ikojọpọ ka diẹ sii), ati deede-ipari iwe-ipari (paramita b, nitorinaa awọn iwe aṣẹ gigun ko ṣe ojurere aiṣododo). Pao awọn ikun wọnyi fun igba-igba ati pe o gba ipo iwe-ipamọ naa. Ko nilo ikẹkọ ati ṣiṣe ni iyara nipasẹ awọn atọka inverted, eyiti o jẹ idi ti awọn ẹrọ wiwa bi Elasticsearch ati Lucene lo nipasẹ aiyipada. Laibikita igbega igbapada nkankikan, BM25 ṣi bori tabi awọn asopọ lori ọpọlọpọ awọn ami-ami, pataki fun awọn ofin to ṣọwọn, awọn idamọ gangan, ati awọn ibeere ti ita-ašẹ.
Imọ-imọ-ẹrọ
BM25's term-igbohunsafẹfẹ paati saturates: awọn k1 paramita bọtini bi o Elo tun ọrọ igbelaruge a Dimegilio, ki a oro han 50 igba ni ko 50x diẹ ti o yẹ ju ẹẹkan. Awọn b paramita idapọmọra aise ati ipari-normized igbohunsafẹfẹ. IDF ṣe iwuwo awọn ọrọ ti o wọpọ bii 'awọn' ati awọn ere pato. Nitoripe o nṣiṣẹ lori aworan atọka inverted ọrọ kọọkan si atokọ iwe-ipamọ rẹ, igbelewọn fọwọkan awọn iwe aṣẹ nikan ti o ni awọn ofin ibeere, ti o jẹ ki o munadoko pupọ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti BM25 ati Igbapada Lexical
BM25 jẹ išẹlẹ ti lati farasin; dipo o ti n pọ si pọ pẹlu awọn ọna nkankikan ni imupadabọ arabara, nibiti a ti dapọ awọn ikun lexical ati ipon (nigbagbogbo nipasẹ isọdọtun ipo isọdọtun). Awọn awoṣe fọnka ti o kọ ẹkọ bii SPLADE parapo ara-ara BM25 pẹlu iwuwo ọrọ nkankikan, ati BM25 nigbagbogbo nṣe iranṣẹ bi olupada ipele akọkọ ṣaaju awọn atunto nkankikan. Iyara rẹ, itumọ, ati idiyele ikẹkọ odo ṣe iṣeduro ipa pipẹ ni wiwa iṣelọpọ.
Real-World imuse
Ipo ibaramu aiyipada ni Elasticsearch, OpenSearch, ati Apache Lucene/Solr
Imupadabọ oludije ipele akọkọ ti o jẹ ifunni oluṣatunṣe nkankikan ti o lọra ni wiwa ipele meji
Koodu ati wiwa wọle nibiti awọn idamọ gangan ati awọn koodu aṣiṣe gbọdọ baramu ni pipe
Iwakusa awọn apẹẹrẹ odi lile lati kọ awọn atunpada ipon bi DPR
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BM25 and Lexical Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Igbapada Ibaraẹnisọrọ pẹ ColBERT
Awọn ibeere ti a beere nigbagbogbo
What is BM25 and Lexical Retrieval?
BM25 jẹ iṣẹ ipo-orisun koko-ọrọ Ayebaye ti o ṣe iṣiro awọn iwe aṣẹ nipasẹ bii igbagbogbo awọn ofin ibeere yoo han, ti a ṣatunṣe fun aipe ọrọ ati ipari iwe. Awọn ọdun mẹwa atijọ, o wa ni iyalẹnu ti o lagbara ati ipilẹ ibi gbogbo fun wiwa.
Kini BM25 ni akọkọ lo lati ṣe ipo awọn iwe aṣẹ?
BM25 daapọ igbohunsafẹfẹ igba, ilodisi iwe-igbohunsafẹfẹ (aṣoju igba), ati deede-ipari iwe-ipari sinu Dimegilio ibaramu.
Kini ipa wo ni igbohunsafẹfẹ iwe-iyipada (IDF) ṣe ni BM25?
IDF awọn ofin ẹsan ti o ṣọwọn kọja ikojọpọ ati awọn ọrọ ti o wọpọ awọn iwuwo isalẹ, nitori awọn ere-kere toje jẹ alaye diẹ sii.
Kilode ti BM25 ṣe lo deede-ipari iwe-ipari (paramita b)?
Laisi isọdọtun, awọn iwe aṣẹ to gun yoo kojọpọ awọn ere-ọrọ diẹ sii; paramita b ṣatunṣe fun ipari ki awọn afiwera jẹ itẹ.
Eto data wo ni o jẹ ki BM25 yara ni iwọn?
Atọka ti o yipada jẹ ki BM25 ṣe Dimegilio awọn iwe aṣẹ nikan ti o ni awọn ọrọ ibeere ninu, ti o jẹ ki igbapada ṣiṣẹ daradara.