Ntuziaka AI asụsụ

BM25 na Mweghachi Lexical

BM25 bụ ọrụ nrịbama okwu gbadoro ụkwụ n'okwu na-agụ akwụkwọ site na ugboro ole okwu ajụjụ na-apụta, gbanwee maka ụkọ okwu na ogologo akwụkwọ.

Nchịkọta

BM25 bụ ọrụ nrịbama okwu gbadoro ụkwụ n'okwu na-agụ akwụkwọ site na ugboro ole okwu ajụjụ na-apụta, gbanwee maka ụkọ okwu na ogologo akwụkwọ. Afọ iri gara aga, ọ na-anọgide na-abụ ntọala siri ike na ebe niile maka ịchọ.

BM25 na Lexical Retrieval bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.

Ime miri emi

BM25 (Best Matching 25) bụ ọrụ ogo akpa-okwu sitere na usoro Okapi puru omume nke 1990s. Maka okwu ajụjụ ọ bụla ọ na-ejikọta akara atọ: ugboro ole okwu ahụ pụtara ( ugboro ole okwu ahụ na-apụta na akwụkwọ, yana nloghachi na-ebelata nke oke k1 na-achịkwa), ugboro ole akwụkwọ na-agbanwe agbanwe (okwu ndị dị ụkọ n'ofe mkpokọta na-agụ karịa), na nhazi ogologo akwụkwọ (parameter b, ya mere akwụkwọ ogologo na-adịghị mma). Kpọkọta ọnụ ọgụgụ ndị a n'otu oge wee nweta ọkwa akwụkwọ ahụ. Ọ dịghị achọ ọzụzụ ma na-agba ọsọ ngwa ngwa site na ntụgharị ntụgharị, nke mere engines ọchụchọ dị ka Elasticsearch na Lucene jiri ya na ndabara. N'agbanyeghị ịrị elu nke iweghachite akwara ozi, BM25 ka na-emeri ma ọ bụ njikọ n'ọtụtụ akara ngosi, ọkachasị maka okwu ndị na-adịghị ahụkebe, ihe nchọpụta ziri ezi, na ajụjụ ndị na-abụghị ngalaba.

Nghọta nka nka

Akụkụ ugboro ugboro BM25 na-ejupụta: oke k1 na-ekpebi ole okwu ugboro ugboro na-ebuli akara, ya mere okwu pụtara ugboro 50 abụghị 50x dị mkpa karịa otu ugboro. Paramita b na-agwakọta oge raw na ogologo-normalized ugboro. IDF na-ewetu okwu nkịtị dị ka 'nke' ma na-enye ndị pụrụ iche ụgwọ ọrụ. N'ihi na ọ na-arụ ọrụ na ndeksi ntụgharị ntụgharị, na-edobe mkpụrụokwu ọ bụla na ndepụta akwụkwọ ya, akara akara na-emetụ naanị akwụkwọ nwere okwu ajụjụ, na-eme ka ọ rụọ ọrụ nke ọma.

Nkà BM25 na Mweghachi Lexical

BM25 bụ ọrụ nrịbama okwu gbadoro ụkwụ n'okwu na-agụ akwụkwọ site na ugboro ole okwu ajụjụ na-apụta, gbanwee maka ụkọ okwu na ogologo akwụkwọ. Afọ iri gara aga, ọ na-anọgide na-abụ ntọala siri ike na ebe niile maka ịchọ. BM25 na Lexical Retrieval bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso BM25 na Lexical Retrieval dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.

Na omume, otu ndị siri ike na-eji BM25 na Lexical Retrieval imewe na-akpalite, iweghachite, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.

Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.

Mmetụta atụmatụ

Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.

Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.

Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.

Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọdịnihu nke BM25 na Mweghachi Lexical

BM25 eyighị ka ọ ga-apụ n'anya; kama ọ na-esiwanye ike na usoro akwara ozi n'ịweghachi ngwakọ, ebe a na-ejikọta ọnụ ọgụgụ lexical na oke (na-abụkarị site n'usoro ngbanwe). Modelsdị obere amụtara dị ka SPLADE na-agwakọta sparsity ụdị BM25 yana ịdị arọ okwu akwara, yana BM25 na-arụkarị ọrụ dị ka onye na-eweghachite ọkwa mbụ n'ihu ndị na-emegharị akwara. Ọsọ ya, nkọwa ya na ọnụ ahịa ọzụzụ efu na-ekwe nkwa ọrụ na-adịgide adịgide n'ịchọ mmepụta.

Mmejuputa n'ezie n'ụwa

Ọkwa dị mkpa na Elasticsearch, OpenSearch, na Apache Lucene/Solr

Mweghachite onye ọkwa ọkwa mbụ nke na-enye onye na-emegharị akwara ji nwayọ nwayọ na nchọ ọkwa abụọ

Koodu na nchọta ndekọ ebe ihe njirimara na koodu njehie ga-adakọrịrịrịrị

Na-egwupụta ihe atụ na-adịghị mma iji zụọ ndị na-eweghachite oke dị ka DPR

Usoro mmejuputa

BM25 na Mweghachi Lexical na omume

Ọkwa dị mkpa na Elasticsearch, OpenSearch, na Apache Lucene/Solr.

Ọkwa dị mkpa na Elasticsearch, OpenSearch, na Apache Lucene/Solr Otu na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ nkwalite mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.

BM25 na Mweghachi Lexical na omume

Mweghachite onye ọkwa ọkwa mbụ nke na-enye onye na-emegharị akwara ji nwayọ nwayọ na nchọ ọkwa abụọ.

Mweghachite ọkwa ọkwa nke mbụ nke na-enye onye na-emegharị akwara ji nwayọọ nwayọọ na-achọ ọkwa abụọ dị iche iche na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ ịrị elu mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta na ụgwọ njehie na-aga n'ihu oge.

BM25 na Mweghachi Lexical na omume

Koodu na nchọta ndekọ ebe ihe njirimara na koodu njehie ga-adakọrịrịrịrị.

Nchọ koodu na ndekọ ebe ihe njirimara na koodu njehie ga-adakọrịrị nke ọma Otu dị iche iche na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie ka oge na-aga.

BM25 na Mweghachi Lexical na omume

Na-egwupụta ihe atụ na-adịghị mma iji zụọ ndị na-eweghachite oke dị ka DPR.

Ngwuputa ihe atụ na-adịghị mma iji zụọ ndị na-eweghachite oke dị ka ndị otu DPR na-enwetakarị nsonaazụ ka mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie na-aga n'ihu oge.

Ihe ize ndụ & okporo ụzọ nche

!

Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.

!

Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.

!

Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.

Map mmejuputa

1

Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.

Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

2

Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.

Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

3

Debe ebe nleba anya mmadụ maka mpụta dị elu.

Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

4

Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.

Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

Nọgide na-eme nchọpụta