आगेअगली गाइड
कोलबर्ट लेट इंटरेक्शन पुनर्प्राप्ति
भाषा ए.आई
भाषा एआई गाइड
BM25 और लेक्सिकल रिट्रीवल
BM25 क्लासिक कीवर्ड-आधारित रैंकिंग फ़ंक्शन है जो दस्तावेज़ों को क्वेरी शब्द कितनी बार दिखाई देता है, शब्द दुर्लभता और दस्तावेज़ की लंबाई के लिए समायोजित करके स्कोर करता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
गहरा गोता
बीएम25 (बेस्ट मैचिंग 25) 1990 के दशक के संभाव्य ओकापी ढांचे से एक बैग-ऑफ-वर्ड्स रैंकिंग फ़ंक्शन है। प्रत्येक क्वेरी शब्द के लिए यह तीन संकेतों को जोड़ता है: शब्द आवृत्ति (दस्तावेज़ में शब्द कितनी बार दिखाई देता है, पैरामीटर k1 द्वारा नियंत्रित घटते रिटर्न के साथ), उलटा दस्तावेज़ आवृत्ति (संग्रह में दुर्लभ शब्द अधिक गिने जाते हैं), और दस्तावेज़-लंबाई सामान्यीकरण (पैरामीटर बी, इतने लंबे दस्तावेज़ों को गलत तरीके से पसंद नहीं किया जाता है)। इन प्रति-अवधि अंकों का योग करें और आपको दस्तावेज़ की रैंक मिल जाएगी। इसे किसी प्रशिक्षण की आवश्यकता नहीं है और यह उल्टे अनुक्रमितों के माध्यम से बहुत तेजी से चलता है, यही कारण है कि एलेस्टिक्स खोज और ल्यूसीन जैसे खोज इंजन डिफ़ॉल्ट रूप से इसका उपयोग करते हैं। तंत्रिका पुनर्प्राप्ति में वृद्धि के बावजूद, BM25 अभी भी कई बेंचमार्क पर जीतता है या बराबरी पर है, विशेष रूप से दुर्लभ शब्दों, सटीक पहचानकर्ताओं और आउट-ऑफ-डोमेन प्रश्नों के लिए।
वास्तविक विश्व कार्यान्वयन
Elasticsearch, OpenSearch, और Apache Lucene/Solr में डिफ़ॉल्ट प्रासंगिकता रैंकिंग
प्रथम-चरण उम्मीदवार पुनर्प्राप्ति जो दो-चरणीय खोज में धीमी तंत्रिका पुनर्रैंकर को फ़ीड करती है
कोड और लॉग खोज जहां सटीक पहचानकर्ता और त्रुटि कोड सटीक रूप से मेल खाने चाहिए
डीपीआर जैसे घने पुनर्प्राप्तिकर्ताओं को प्रशिक्षित करने के लिए कठिन नकारात्मक उदाहरणों का खनन
बीएम25 और लेक्सिकल रिट्रीवल का भविष्य
BM25 के गायब होने की संभावना नहीं है; इसके बजाय इसे हाइब्रिड पुनर्प्राप्ति में तंत्रिका तरीकों के साथ तेजी से जोड़ा जा रहा है, जहां शाब्दिक और सघन स्कोर जुड़े हुए हैं (अक्सर पारस्परिक रैंक संलयन के माध्यम से)। SPLADE जैसे सीखे हुए विरल मॉडल BM25-शैली विरलता को न्यूरल टर्म वेटिंग के साथ मिश्रित करते हैं, और BM25 अक्सर न्यूरल रीरैंकर्स से पहले पहले चरण के रिट्रीवर के रूप में कार्य करता है। इसकी गति, व्याख्याशीलता और शून्य प्रशिक्षण लागत उत्पादन खोज में एक स्थायी भूमिका की गारंटी देती है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
- पहुंच और पहुंच. यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
- स्पष्ट निर्णय. टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
का ध्यान रखें
- मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
- त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
- यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
अगले चरण
- रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
- जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
- उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
- विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the BM25 and Lexical Retrieval quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is BM25 and Lexical Retrieval?
BM25 क्लासिक कीवर्ड-आधारित रैंकिंग फ़ंक्शन है जो दस्तावेज़ों को क्वेरी शब्द कितनी बार दिखाई देता है, शब्द दुर्लभता और दस्तावेज़ की लंबाई के लिए समायोजित करके स्कोर करता है। दशकों पुराना, यह खोज के लिए उल्लेखनीय रूप से मजबूत और सर्वव्यापी आधार रेखा बनी हुई है।
दस्तावेज़ों को रैंक करने के लिए BM25 मुख्य रूप से क्या उपयोग करता है?
BM25 प्रासंगिकता स्कोर में टर्म फ़्रीक्वेंसी, व्युत्क्रम दस्तावेज़ फ़्रीक्वेंसी (टर्म दुर्लभता), और दस्तावेज़-लंबाई सामान्यीकरण को जोड़ती है।
बीएम25 में व्युत्क्रम दस्तावेज़ आवृत्ति (आईडीएफ) क्या भूमिका निभाती है?
आईडीएफ उन शब्दों को पुरस्कृत करता है जो संग्रह में दुर्लभ हैं और सामान्य शब्दों को कम करता है, क्योंकि दुर्लभ मिलान अधिक जानकारीपूर्ण होते हैं।
बीएम25 दस्तावेज़-लंबाई सामान्यीकरण (बी पैरामीटर) क्यों लागू करता है?
सामान्यीकरण के बिना, लंबे दस्तावेज़ अधिक अवधि मिलान जमा करेंगे; बी पैरामीटर लंबाई के लिए समायोजित होता है इसलिए तुलना उचित है।
कौन सी डेटा संरचना BM25 को बड़े पैमाने पर तेज़ बनाती है?
एक उलटा सूचकांक BM25 को केवल उन दस्तावेज़ों को स्कोर करने देता है जिनमें क्वेरी शब्द होते हैं, जिससे पुनर्प्राप्ति बहुत कुशल हो जाती है।
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं