คู่มือ AI ภาษา

BM25 และการดึงคำศัพท์

BM25 เป็นฟังก์ชันการจัดอันดับตามคำหลักแบบคลาสสิก ซึ่งจะให้คะแนนเอกสารตามความถี่ที่คำค้นหาปรากฏขึ้น ปรับตามความหายากของคำ และความยาวของเอกสาร

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ BM25 และการดึงคำศัพท์
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

มีอายุหลายทศวรรษ แต่ยังคงเป็นพื้นฐานสำหรับการค้นหาที่แข็งแกร่งและแพร่หลายอย่างน่าทึ่ง

เจาะลึก

BM25 (การจับคู่ที่ดีที่สุด 25) เป็นฟังก์ชันการจัดอันดับแบบกลุ่มคำจากกรอบ Okapi ที่น่าจะเป็นของทศวรรษ 1990 สำหรับคำค้นหาแต่ละคำจะรวมสัญญาณสามอย่าง: ความถี่ของคำ (ความถี่ที่คำนั้นปรากฏในเอกสาร โดยที่ผลตอบแทนลดลงซึ่งควบคุมโดยพารามิเตอร์ k1) ความถี่ของเอกสารผกผัน (คำที่หายากในคอลเลคชันมีจำนวนมากกว่า) และการทำให้เป็นมาตรฐานความยาวเอกสาร (พารามิเตอร์ b ดังนั้นเอกสารที่ยาวจึงไม่ได้รับความนิยมอย่างไม่ยุติธรรม) รวมคะแนนต่อภาคเรียนเหล่านี้แล้วคุณจะได้อันดับของเอกสาร ไม่จำเป็นต้องฝึกฝนและทำงานเร็วมากผ่านดัชนีแบบกลับด้าน ซึ่งเป็นเหตุผลว่าทำไมเสิร์ชเอ็นจิ้นอย่าง Elasticsearch และ Lucene จึงใช้มันเป็นค่าเริ่มต้น แม้ว่าการดึงข้อมูลระบบประสาทจะเพิ่มขึ้น แต่ BM25 ก็ยังคงชนะหรือเชื่อมโยงกับเกณฑ์มาตรฐานหลายประการ โดยเฉพาะอย่างยิ่งสำหรับคำที่หายาก ตัวระบุที่แน่นอน และการสืบค้นนอกโดเมน

การใช้งานจริงในโลกแห่งความเป็นจริง

การจัดอันดับความเกี่ยวข้องเริ่มต้นใน Elasticsearch, OpenSearch และ Apache Lucene/Solr

การดึงข้อมูลผู้สมัครในระยะแรกซึ่งจะป้อนการจัดเรียงใหม่ของระบบประสาทที่ช้าลงในการค้นหาแบบสองขั้นตอน

การค้นหาโค้ดและบันทึกโดยที่ตัวระบุและรหัสข้อผิดพลาดต้องตรงกันทุกประการ

ขุดตัวอย่างเชิงลบอย่างหนักเพื่อฝึกสุนัขพันธุ์หนาแน่นเช่น DPR

อนาคตของ BM25 และการดึงคำศัพท์

BM25 ไม่น่าจะหายไป; แต่กลับจับคู่กับวิธีการทางประสาทมากขึ้นในการดึงข้อมูลแบบผสม โดยที่คะแนนคำศัพท์และคะแนนหนาแน่นถูกหลอมรวมเข้าด้วยกัน (มักผ่านการหลอมรวมอันดับซึ่งกันและกัน) แบบจำลองกระจัดกระจายที่เรียนรู้ เช่น SPLADE ผสมผสานความกระจัดกระจายแบบ BM25 กับการถ่วงน้ำหนักระยะประสาท และ BM25 มักทำหน้าที่เป็นตัวดึงข้อมูลระยะแรก ก่อนที่จะจัดลำดับใหม่ของระบบประสาท ความเร็ว การตีความได้ และต้นทุนการฝึกอบรมเป็นศูนย์รับประกันบทบาทที่ยั่งยืนในการค้นหาการผลิต

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the BM25 and Lexical Retrieval quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

BM25 และการดึงคำศัพท์คืออะไร?

BM25 เป็นฟังก์ชันการจัดอันดับตามคำหลักแบบคลาสสิก ซึ่งจะให้คะแนนเอกสารตามความถี่ที่คำค้นหาปรากฏขึ้น ปรับตามความหายากของคำ และความยาวของเอกสาร มีอายุหลายทศวรรษ แต่ยังคงเป็นพื้นฐานสำหรับการค้นหาที่แข็งแกร่งและแพร่หลายอย่างน่าทึ่ง

BM25 ใช้เพื่อจัดอันดับเอกสารเป็นหลักอย่างไร

BM25 รวมความถี่ของคำศัพท์ ความถี่ของเอกสารผกผัน (ความหายากของคำศัพท์) และการทำให้ความยาวเอกสารเป็นมาตรฐานให้เป็นคะแนนความเกี่ยวข้อง

ความถี่ของเอกสารผกผัน (IDF) มีบทบาทอย่างไรใน BM25

IDF ให้รางวัลคำศัพท์ที่ไม่ค่อยพบในคอลเลกชันและลดน้ำหนักคำทั่วไป เนื่องจากการจับคู่ที่หายากจะให้ความรู้มากกว่า

เหตุใด BM25 จึงใช้การปรับมาตรฐานความยาวเอกสาร (พารามิเตอร์ b)

หากไม่มีการทำให้เป็นมาตรฐาน เอกสารที่ยาวขึ้นจะสะสมการจับคู่ระยะยาวมากขึ้น พารามิเตอร์ b จะปรับความยาวเพื่อให้การเปรียบเทียบมีความยุติธรรม

โครงสร้างข้อมูลใดที่ทำให้ BM25 ทำงานได้รวดเร็วในวงกว้าง

ดัชนีแบบกลับด้านช่วยให้ BM25 ให้คะแนนเฉพาะเอกสารที่มีเงื่อนไขการสืบค้น ทำให้การดึงข้อมูลมีประสิทธิภาพมาก

In the standard BM25 formula, what effect does setting b to zero have?

b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →