Up tókànItọsọna atẹle
Igbapada Ibaraẹnisọrọ pẹ ColBERT
Èdè AI
Èdè AI Itọsọna
BM25 ati Igbapada Lexical
BM25 jẹ iṣẹ ipo-orisun koko-ọrọ Ayebaye ti o ṣe iṣiro awọn iwe aṣẹ nipasẹ bii igbagbogbo awọn ofin ibeere yoo han, ti a ṣatunṣe fun aipe ọrọ ati ipari iwe.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Awọn ọdun mẹwa atijọ, o wa ni iyalẹnu ti o lagbara ati ipilẹ ibi gbogbo fun wiwa.
Jin Dive
BM25 (Ti o dara ju Ibaramu 25) jẹ iṣẹ ipo apo-ti-ọrọ lati ilana Okapi iṣeeṣe ti awọn 1990s. Fun igba ibeere kọọkan o dapọ awọn ifihan agbara mẹta: igbohunsafẹfẹ igba (igba melo ni ọrọ naa han ninu iwe-ipamọ kan, pẹlu awọn ipadabọ idinku ti o ṣakoso nipasẹ paramita k1), igbohunsafẹfẹ iwe-itumọ (awọn ọrọ ti o ṣọwọn kọja ikojọpọ ka diẹ sii), ati deede-ipari iwe-ipari (paramita b, nitorinaa awọn iwe aṣẹ gigun ko ṣe ojurere aiṣododo). Pao awọn ikun wọnyi fun igba-igba ati pe o gba ipo iwe-ipamọ naa. Ko nilo ikẹkọ ati ṣiṣe ni iyara nipasẹ awọn atọka inverted, eyiti o jẹ idi ti awọn ẹrọ wiwa bi Elasticsearch ati Lucene lo nipasẹ aiyipada. Laibikita igbega igbapada nkankikan, BM25 ṣi bori tabi awọn asopọ lori ọpọlọpọ awọn ami-ami, pataki fun awọn ofin to ṣọwọn, awọn idamọ gangan, ati awọn ibeere ti ita-ašẹ.
Real-World imuse
Ipo ibaramu aiyipada ni Elasticsearch, OpenSearch, ati Apache Lucene/Solr
Imupadabọ oludije ipele akọkọ ti o jẹ ifunni oluṣatunṣe nkankikan ti o lọra ni wiwa ipele meji
Koodu ati wiwa wọle nibiti awọn idamọ gangan ati awọn koodu aṣiṣe gbọdọ baramu ni pipe
Iwakusa awọn apẹẹrẹ odi lile lati kọ awọn atunpada ipon bi DPR
Ojo iwaju ti BM25 ati Igbapada Lexical
BM25 jẹ išẹlẹ ti lati farasin; dipo o ti n pọ si pọ pẹlu awọn ọna nkankikan ni imupadabọ arabara, nibiti a ti dapọ awọn ikun lexical ati ipon (nigbagbogbo nipasẹ isọdọtun ipo isọdọtun). Awọn awoṣe fọnka ti o kọ ẹkọ bii SPLADE parapo ara-ara BM25 pẹlu iwuwo ọrọ nkankikan, ati BM25 nigbagbogbo nṣe iranṣẹ bi olupada ipele akọkọ ṣaaju awọn atunto nkankikan. Iyara rẹ, itumọ, ati idiyele ikẹkọ odo ṣe iṣeduro ipa pipẹ ni wiwa iṣelọpọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
- Wiwọle ati arọwọto. O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
- Awọn ipinnu diẹ sii. Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ṣọra fun
- Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
- Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
- Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Next awọn igbesẹ
- Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
- Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
- Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
- Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Mu idanwo BM25 ati Lexical Retrieval
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini BM25 ati Igbapada Lexical?
BM25 jẹ iṣẹ ipo-orisun koko-ọrọ Ayebaye ti o ṣe iṣiro awọn iwe aṣẹ nipasẹ bii igbagbogbo awọn ofin ibeere yoo han, ti a ṣatunṣe fun aipe ọrọ ati ipari iwe. Awọn ọdun mẹwa atijọ, o wa ni iyalẹnu ti o lagbara ati ipilẹ ibi gbogbo fun wiwa.
Kini BM25 ni akọkọ lo lati ṣe ipo awọn iwe aṣẹ?
BM25 daapọ igbohunsafẹfẹ igba, ilodisi iwe-igbohunsafẹfẹ (aṣoju igba), ati deede-ipari iwe-ipari sinu Dimegilio ibaramu.
Kini ipa wo ni igbohunsafẹfẹ iwe-iyipada (IDF) ṣe ni BM25?
IDF awọn ofin ẹsan ti o ṣọwọn kọja ikojọpọ ati awọn ọrọ ti o wọpọ awọn iwuwo isalẹ, nitori awọn ere-kere toje jẹ alaye diẹ sii.
Kilode ti BM25 ṣe lo deede-ipari iwe-ipari (paramita b)?
Laisi isọdọtun, awọn iwe aṣẹ to gun yoo kojọpọ awọn ere-ọrọ diẹ sii; paramita b ṣatunṣe fun ipari ki awọn afiwera jẹ itẹ.
Eto data wo ni o jẹ ki BM25 yara ni iwọn?
Atọka ti o yipada jẹ ki BM25 ṣe Dimegilio awọn iwe aṣẹ nikan ti o ni awọn ọrọ ibeere ninu, ti o jẹ ki igbapada ṣiṣẹ daradara.
Ninu agbekalẹ BM25 boṣewa, ipa wo ni eto b si odo ni?
b n ṣakoso agbara ti deede gigun; odo yọ atunṣe yẹn kuro lakoko ti awọn paati igbelewọn miiran wa.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii