SeterusnyaPanduan seterusnya
Pengambilan Interaksi Lewat ColBERT
AI bahasa
PANDUAN AI Bahasa
BM25 dan Pendapatan Leksikal
BM25 ialah fungsi penarafan berasaskan kata kunci klasik yang menjaringkan dokumen mengikut kekerapan istilah pertanyaan muncul, diselaraskan untuk jarang istilah dan panjang dokumen.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Decades old, it remains a remarkably strong and ubiquitous baseline for search.
Menyelam dalam
BM25 (Padanan Terbaik 25) ialah fungsi pemeringkatan beg-of-word daripada rangka kerja Okapi yang berkemungkinan pada tahun 1990-an. Untuk setiap istilah pertanyaan ia menggabungkan tiga isyarat: kekerapan istilah (berapa kerap perkataan itu muncul dalam dokumen, dengan pulangan yang semakin berkurangan dikawal oleh parameter k1), kekerapan dokumen songsang (perkataan yang lebih jarang merentasi koleksi dikira lebih banyak) dan normalisasi panjang dokumen (parameter b, dokumen yang begitu panjang tidak diutamakan secara tidak adil). Jumlahkan markah setiap penggal ini dan anda mendapat kedudukan dokumen. Ia tidak memerlukan latihan dan berjalan dengan pantas melalui indeks terbalik, itulah sebabnya enjin carian seperti Elasticsearch dan Lucene menggunakannya secara lalai. Walaupun peningkatan perolehan saraf, BM25 masih menang atau terikat pada banyak penanda aras, terutamanya untuk istilah yang jarang berlaku, pengecam tepat dan pertanyaan luar domain.
Pelaksanaan Dunia Sebenar
Kedudukan perkaitan lalai dalam Elasticsearch, OpenSearch dan Apache Lucene/Solr
Pencapaian calon peringkat pertama yang memberi penyuap semula neural yang lebih perlahan dalam carian dua peringkat
Kod dan carian log di mana pengecam yang tepat dan kod ralat mesti sepadan dengan tepat
Melombong contoh negatif keras untuk melatih retriever padat seperti DPR
Masa Depan BM25 dan Pengambilan Leksikal
BM25 tidak mungkin hilang; sebaliknya ia semakin dipasangkan dengan kaedah saraf dalam pengambilan semula hibrid, di mana skor leksikal dan padat digabungkan (selalunya melalui gabungan pangkat timbal balik). Model jarang yang dipelajari seperti SPLADE menggabungkan sparsity gaya BM25 dengan pemberat jangka neural, dan BM25 kerap berfungsi sebagai retriever peringkat pertama sebelum penaraf semula saraf. Kepantasan, kebolehtafsiran dan kos latihan sifarnya menjamin peranan yang berkekalan dalam carian pengeluaran.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi.
- Akses dan capai. Ia meluaskan akses merentas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan.
Berhati-hati untuk
- Fakta halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap.
- Sensitiviti segera boleh mencipta hasil yang tidak konsisten merentas permintaan yang serupa.
- Data teks sensitif mungkin terdedah jika kawalan akses lemah.
Langkah seterusnya
- Tentukan format output, nada dan standard kualiti sebelum pelancaran.
- Respons asas dengan sumber yang dipercayai apabila ketepatan penting.
- Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi.
- Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the BM25 and Lexical Retrieval quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is BM25 and Lexical Retrieval?
BM25 ialah fungsi penarafan berasaskan kata kunci klasik yang menjaringkan dokumen mengikut kekerapan istilah pertanyaan muncul, diselaraskan untuk jarang istilah dan panjang dokumen. Berusia beberapa dekad, ia kekal sebagai garis dasar yang sangat kukuh dan ada di mana-mana untuk carian.
Apakah yang digunakan terutamanya oleh BM25 untuk menentukan kedudukan dokumen?
BM25 menggabungkan kekerapan istilah, kekerapan dokumen songsang (jarang jangka), dan normalisasi panjang dokumen ke dalam skor perkaitan.
Apakah peranan yang dimainkan oleh kekerapan dokumen songsang (IDF) dalam BM25?
IDF memberi ganjaran kepada istilah yang jarang berlaku di seluruh koleksi dan menurunkan wajaran perkataan biasa, kerana padanan yang jarang ditemui adalah lebih bermaklumat.
Mengapakah BM25 menggunakan normalisasi panjang dokumen (parameter b)?
Tanpa penormalan, dokumen yang lebih panjang akan mengumpul lebih banyak padanan penggal; parameter b menyesuaikan untuk panjang supaya perbandingan adalah adil.
Apakah struktur data yang menjadikan BM25 pantas pada skala?
Indeks terbalik membolehkan BM25 menjaringkan hanya dokumen yang mengandungi istilah pertanyaan, menjadikan pengambilan semula sangat cekap.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini