የቋንቋ AI መመሪያ

BM25 እና Lexical Retrieval

BM25 ሰነዶችን በየስንት ጊዜ የመጠይቅ ቃላቶች እንደሚታዩ፣ ለቃላት ብርቅነት እና ለሰነድ ርዝመት የተስተካከለውን የሚመዘግብ ክላሲክ ቁልፍ ቃል ላይ የተመሰረተ የደረጃ አሰጣጥ ተግባር ነው።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

Decades old, it remains a remarkably strong and ubiquitous baseline for search.

ጥልቅ ዳይቭ

BM25 (ምርጥ ማዛመድ 25) ከ1990ዎቹ ፕሮባቢሊቲ ኦካፒ ማዕቀፍ የተገኘ የቦርሳ-ቃላት ደረጃ ተግባር ነው። ለእያንዳንዱ መጠይቅ ሶስት ምልክቶችን ያዋህዳል፡ የቃላት ድግግሞሽ (ቃሉ በሰነድ ውስጥ ምን ያህል ጊዜ እንደሚታይ፣ የሚቀነሱ ምላሾች በፓራሜትር k1 ቁጥጥር ስር ያሉ)፣ የተገላቢጦሽ የሰነድ ድግግሞሽ (በክምችቱ ውስጥ ያሉ ያልተለመዱ ቃላቶች የበለጠ ይቆጥራሉ) እና የሰነድ-ርዝመት መደበኛነት (መለኪያ ለ፣ ስለዚህ ረጅም ሰነዶች ያለ አግባብ አይወደዱም)። እነዚህን በየጊዜ ውጤቶች ያጠቃልሉ እና የሰነዱን ደረጃ ያገኛሉ። ምንም አይነት ስልጠና አያስፈልገውም እና በተገለበጠ ኢንዴክሶች በፍጥነት ይሰራል፣ለዚህም ነው እንደ Elasticsearch እና Lucene ያሉ የፍለጋ ፕሮግራሞች በነባሪነት የሚጠቀሙት። ምንም እንኳን የነርቭ ማገገም እየጨመረ ቢመጣም ፣ BM25 አሁንም በብዙ መመዘኛዎች ላይ ያሸንፋል ወይም ያገናኛል ፣በተለይም አልፎ አልፎ ለሚታዩ ቃላት ፣ለትክክለኛ መለያዎች እና ከጎራ ውጭ ለሚደረጉ ጥያቄዎች።

ቴክኒካዊ ግንዛቤ

የBM25 የተርም-ድግግሞሽ ክፍል ይሞላል፡ k1 መለኪያው ምን ያህል ተደጋጋሚ ቃላት ውጤትን እንደሚያሳድጉ ይገልፃል፣ ስለዚህ 50 ጊዜ የሚታየው ቃል ከአንድ ጊዜ በላይ 50x ጠቃሚ አይደለም። የቢ መለኪያው ጥሬ እና ርዝማኔ - መደበኛ ድግግሞሽን ያዋህዳል. IDF እንደ 'the' ያሉ የተለመዱ ቃላትን ይቀንሳል እና ልዩ የሆኑትን ይሸልማል። በተገለበጠ መረጃ ጠቋሚ ላይ ስለሚሰራ እያንዳንዱን ቃል በሰነድ ዝርዝር ውስጥ በማሳየት፣ ውጤት ማስመዝገብ የጥያቄ ቃላትን የያዙ ሰነዶችን ብቻ በመንካት እጅግ ቀልጣፋ ያደርገዋል።

ስልታዊ ተጽእኖ

ፍጥነት እና ልኬት

የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።

መድረስ እና መድረስ

በቋንቋዎች እና በመግባቢያ ዘይቤዎች ተደራሽነትን ያሰፋዋል።

ግልጽ ውሳኔዎች

አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።

የ BM25 የወደፊት እና የቃላት መልሶ ማግኛ

BM25 ሊጠፋ የማይችል ነው; ይልቁንስ በድብልቅ መልሶ ማግኛ ውስጥ ከነርቭ ዘዴዎች ጋር እየተጣመረ ይሄዳል፣ የቃላት እና ጥቅጥቅ ያሉ ውጤቶች በሚዋሃዱበት (ብዙውን ጊዜ በተገላቢጦሽ ደረጃ ውህደት)። እንደ SPLADE ያሉ የተማሩ ጥቂት ሞዴሎች የ BM25-style sparsityን ከነርቭ ቃል ክብደት ጋር ያዋህዳሉ፣ እና BM25 ብዙውን ጊዜ ከነርቭ ሬራንከሮች በፊት የመጀመሪያ ደረጃ መልሶ ማግኛ ሆኖ ያገለግላል። ፍጥነቱ፣ አተረጓጎሙ እና ዜሮ የስልጠና ወጪው በምርት ፍለጋ ውስጥ ዘላቂ ሚና ይኖረዋል።

የእውነተኛ-ዓለም አተገባበር

በElasticsearch፣ OpenSearch እና Apache Lucene/Solr ውስጥ ያለው ነባሪ ተዛማጅነት ደረጃ

በሁለት-ደረጃ ፍለጋ ቀርፋፋ የነርቭ ሪራንከርን የሚመገብ የመጀመሪያ ደረጃ እጩ መልሶ ማግኘት

ትክክለኛ መለያዎች እና የስህተት ኮዶች በትክክል የሚዛመዱበት ኮድ እና ሎግ ፍለጋ

እንደ DPR ያሉ ጥቅጥቅ ያሉ መልሶ ማግኛዎችን ለማሰልጠን ጠንካራ አሉታዊ ምሳሌዎችን ማውጣት

አደጋዎች እና የጥበቃ መንገዶች

የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።

ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።

የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።

የትግበራ ፍኖተ ካርታ

1

ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።

2

ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።

3

ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።

4

የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።

ማሰስዎን ይቀጥሉ

ChatGPT እና LLMs

የዘመናዊ ቋንቋ ሞዴሎች እንዴት እንደሚያመነጩ እና እንደሚያስቡ ይመልከቱ።

መመሪያ ያንብቡ

NLP መሰረታዊ ነገሮች

ከእነዚህ መሳሪያዎች በስተጀርባ ያለውን የቋንቋ ማቀናበሪያ መሰረታዊ ነገሮችን ይማሩ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the BM25 and Lexical Retrieval quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ColBERT ዘግይቶ መስተጋብር ሰርስሮ ማውጣት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is BM25 and Lexical Retrieval?

BM25 ሰነዶችን በየስንት ጊዜ የመጠይቅ ቃላቶች እንደሚታዩ፣ ለቃላት ብርቅነት እና ለሰነድ ርዝመት የተስተካከለውን የሚመዘግብ ክላሲክ ቁልፍ ቃል ላይ የተመሰረተ የደረጃ አሰጣጥ ተግባር ነው። አስርት አመታትን ያስቆጠረው፣ ለፍለጋ በሚያስደንቅ ሁኔታ ጠንካራ እና በሁሉም ቦታ የሚገኝ መሰረት ሆኖ ይቆያል።

BM25 በዋናነት ሰነዶችን ደረጃ ለመስጠት ምን ይጠቀማል?

BM25 የቃላት ድግግሞሽ፣ የተገላቢጦሽ ሰነድ ድግግሞሽ (የጊዜ ብርቅዬ) እና የሰነድ-ርዝመት መደበኛነትን ወደ ተዛማጅነት ነጥብ ያጣምራል።

በ BM25 ውስጥ የተገላቢጦሽ ሰነድ ድግግሞሽ (IDF) ምን ሚና ይጫወታል?

ብርቅዬ ግጥሚያዎች የበለጠ መረጃ ሰጭ በመሆናቸው IDF በክምችቱ ውስጥ ብርቅዬ የሆኑ ቃላትን ይሸልማል እና የተለመዱ ቃላትን ይቀንሳል።

BM25 የሰነድ-ርዝመት መደበኛነትን (የቢ መለኪያ) ለምን ይተገበራል?

መደበኛ ካልሆኑ ረዣዥም ሰነዶች ተጨማሪ የጊዜ ግጥሚያዎችን ያከማቻሉ። የ b መለኪያው ርዝመቱን ያስተካክላል ስለዚህ ንጽጽሮች ፍትሃዊ ናቸው.

BM25 ፈጣን ሚዛን የሚያደርገው የትኛው የውሂብ መዋቅር ነው?

የተገለበጠ መረጃ ጠቋሚ BM25 የመጠይቅ ቃላትን ያካተቱ ሰነዶችን ብቻ እንዲያስመዘግብ ያስችለዋል፣ ይህም ሰርስሮ ማውጣትን በጣም ቀልጣፋ ያደርገዋል።

ተዛማጅ መመሪያዎች