InayofuataMwongozo unaofuata
ColBERT Urejeshaji wa Mwingiliano wa Marehemu
Lugha AI
Lugha AI MWONGOZO
BM25 na Urejeshaji wa Lexical
BM25 ni chaguo msingi la kukokotoa la msingi la neno muhimu ambalo huweka alama hati kwa mara ngapi maneno ya hoja yanaonekana, kurekebishwa kwa muda na urefu wa hati.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Dive ya kina
BM25 (Inayolingana Bora 25) ni chaguo la kukokotoa la mfuko wa maneno kutoka kwa mfumo unaowezekana wa Okapi wa miaka ya 1990. Kwa kila neno la swali huchanganya ishara tatu: mzunguko wa muda (mara ngapi neno linaonekana katika hati, na mapato yanayopungua yanadhibitiwa na kigezo k1), marudio ya hati kinyume (maneno adimu katika mkusanyiko huhesabu zaidi), na urekebishaji wa urefu wa hati (parameta b, hati ndefu hazipendelewi isivyo haki). Jumlisha alama hizi kwa kila muhula na utapata cheo cha hati. Haihitaji mafunzo na huendesha haraka sana kupitia faharasa zilizogeuzwa, ndiyo maana injini za utafutaji kama vile Elasticsearch na Lucene zinaitumia kwa chaguo-msingi. Licha ya kuongezeka kwa urejeshaji wa mfumo wa neva, BM25 bado inashinda au inafungamana na vigezo vingi, hasa kwa masharti nadra, vitambulishi kamili na hoja zilizo nje ya kikoa.
Utekelezaji wa Ulimwengu Halisi
Nafasi chaguomsingi ya umuhimu katika Elasticsearch, OpenSearch, na Apache Lucene/Solr
Urejeshaji wa mgombea wa hatua ya kwanza ambao unalisha kiweka upya upya wa neva katika utafutaji wa hatua mbili
Utaftaji wa msimbo na kumbukumbu ambapo vitambulishi na misimbo ya hitilafu lazima zilingane ipasavyo
Kuchimba mifano migumu hasi ili kutoa mafunzo kwa wachukuaji mnene kama vile DPR
Mustakabali wa BM25 na Urejeshaji wa Lexical
BM25 haiwezekani kutoweka; badala yake inazidi kuoanishwa na mbinu za neva katika urejeshaji mseto, ambapo alama za kileksika na mnene huunganishwa (mara nyingi kupitia muunganisho wa cheo unaofanana). Miundo michache iliyojifunza kama vile SPLADE huchanganya uchangamfu wa mtindo wa BM25 na uzani wa neno la neva, na BM25 mara nyingi hutumika kama kirudishaji cha hatua ya kwanza kabla ya warekebishaji neva. Kasi yake, ufasiri na gharama ya mafunzo sifuri huhakikisha jukumu la kudumu katika utafutaji wa uzalishaji.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kasi na kiwango. Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
- Kufikia na kufikia. Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
- Maamuzi ya wazi zaidi. Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Jihadharini na
- Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
- Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
- Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Hatua zinazofuata
- Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
- Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
- Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
- Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the BM25 and Lexical Retrieval quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is BM25 and Lexical Retrieval?
BM25 ni chaguo msingi la kukokotoa la msingi la neno muhimu ambalo huweka alama hati kwa mara ngapi maneno ya hoja yanaonekana, kurekebishwa kwa muda na urefu wa hati. Miongo kadhaa ya zamani, inasalia kuwa msingi wenye nguvu na unaopatikana kila mahali wa utafutaji.
BM25 hutumia nini kimsingi kupanga hati?
BM25 inachanganya masafa ya muda, marudio ya hati kinyume (upungufu wa muda), na urekebishaji wa urefu wa hati kuwa alama ya umuhimu.
Je, frequency ya hati kinyume (IDF) ina jukumu gani katika BM25?
IDF hutuza maneno ambayo ni nadra katika mkusanyiko wote na maneno ya kawaida ya uzito wa chini, kwa kuwa ulinganifu adimu ni wa kuelimisha zaidi.
Kwa nini BM25 inatumika kuhalalisha urefu wa hati (parameta ya b)?
Bila kuhalalisha, hati ndefu zaidi zingekusanya muda unaolingana zaidi; parameta ya b hurekebisha kwa urefu ili ulinganisho uwe sawa.
Ni muundo gani wa data hufanya BM25 iwe haraka kwa kiwango?
Faharasa iliyogeuzwa huruhusu BM25 alama hati zilizo na masharti ya hoja pekee, na kufanya urejeshaji kuwa mzuri sana.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii