BM25 และการดึงคำศัพท์

Decades old, it remains a remarkably strong and ubiquitous baseline for search.

BM25 (การจับคู่ที่ดีที่สุด 25) เป็นฟังก์ชันการจัดอันดับแบบกลุ่มคำจากกรอบ Okapi ที่น่าจะเป็นของทศวรรษ 1990 สำหรับคำค้นหาแต่ละคำจะรวมสัญญาณสามอย่าง: ความถี่ของคำ (ความถี่ที่คำนั้นปรากฏในเอกสาร โดยที่ผลตอบแทนลดลงซึ่งควบคุมโดยพารามิเตอร์ k1) ความถี่ของเอกสารผกผัน (คำที่หายากในคอลเลคชันมีจำนวนมากกว่า) และการทำให้เป็นมาตรฐานความยาวเอกสาร (พารามิเตอร์ b ดังนั้นเอกสารที่ยาวจึงไม่ได้รับความนิยมอย่างไม่ยุติธรรม) รวมคะแนนต่อภาคเรียนเหล่านี้แล้วคุณจะได้อันดับของเอกสาร ไม่จำเป็นต้องฝึกฝนและทำงานเร็วมากผ่านดัชนีแบบกลับด้าน ซึ่งเป็นเหตุผลว่าทำไมเสิร์ชเอ็นจิ้นอย่าง Elasticsearch และ Lucene จึงใช้มันเป็นค่าเริ่มต้น แม้ว่าการดึงข้อมูลระบบประสาทจะเพิ่มขึ้น แต่ BM25 ก็ยังคงชนะหรือเชื่อมโยงกับเกณฑ์มาตรฐานหลายประการ โดยเฉพาะอย่างยิ่งสำหรับคำที่หายาก ตัวระบุที่แน่นอน และการสืบค้นนอกโดเมน