การดึงข้อมูลการจัดอันดับใหม่
การจัดอันดับการสืบค้นข้อมูลใหม่เป็นขั้นตอนที่สองของการค้นหายุคใหม่ หลังจากที่ฟาสต์รีทรีฟเวอร์ดึงชุดผู้สมัคร โมเดลที่ทรงพลังกว่าจะให้คะแนนผู้สมัครเหล่านั้นอีกครั้ง เพื่อให้ผู้ที่เกี่ยวข้องอย่างแท้จริงขึ้นไปอยู่ด้านบน
ภาพรวม
It is the quality boost behind better search and more accurate RAG systems.
เจาะลึก
การสร้างการค้นหาและการดึงข้อมูลแบบเสริมมักจะทำงานในสองขั้นตอน ประการแรก ฟาสต์รีทรีฟเวอร์ (BM25 ตามคำสำคัญหรือการค้นหาเวกเตอร์หนาแน่น) จะคว้ากลุ่มผู้สมัครที่กว้างขวาง เช่น 100 อันดับแรก โดยปรับให้เหมาะสมสำหรับการเรียกคืนและความเร็ว จากนั้นผู้จัดอันดับใหม่จะตรวจสอบผู้สมัครเหล่านั้นอย่างรอบคอบมากขึ้น และจัดลำดับใหม่ตามความเกี่ยวข้อง โดยปรับให้เหมาะสมเพื่อความแม่นยำที่ด้านบน การจัดอันดับใหม่แบบคลาสสิกคือตัวเข้ารหัสข้าม โดยจะดึงข้อความค้นหาและเอกสารผู้สมัครแต่ละรายการรวมกันเป็นหม้อแปลงไฟฟ้า เพื่อให้ความสนใจสามารถเปรียบเทียบคำต่อคำได้ โดยสร้างคะแนนความเกี่ยวข้องเพียงรายการเดียว สิ่งนี้มีความแม่นยำมากกว่าการฝังแบบอิสระของรีทรีฟเวอร์มาก แต่ช้าเกินไปที่จะรันทั่วทั้งคลังข้อมูล ด้วยเหตุนี้จึงมีการออกแบบสองขั้นตอน ใน RAG การจัดอันดับใหม่ที่ดีหมายความว่าแบบจำลองจะเห็นข้อความที่เกี่ยวข้องมากที่สุด ลดภาพหลอน และปรับปรุงคุณภาพคำตอบ
ข้อมูลเชิงลึกทางเทคนิค
ความแตกต่างที่สำคัญคือตัวเข้ารหัสแบบคู่และตัวเข้ารหัสแบบข้าม ตัวเข้ารหัสแบบคู่ฝังการสืบค้นและเอกสารแยกกัน เพื่อให้สามารถคำนวณเวกเตอร์ล่วงหน้าและเปรียบเทียบกับผลิตภัณฑ์ดอทแบบเร็ว ซึ่งเหมาะสำหรับการดึงข้อมูลในขั้นตอนแรก ตัวเข้ารหัสแบบข้ามจะเชื่อมการสืบค้นและเอกสารเข้าด้วยกัน และเรียกใช้ร่วมกันผ่านหม้อแปลงไฟฟ้า เพื่อให้ผู้ตัดสินที่ให้ความสนใจแบบข้ามได้เต็มรูปแบบ ตัวเข้ารหัสแบบไขว้มีความแม่นยำมากกว่ามาก แต่ไม่สามารถคำนวณเวกเตอร์เอกสารล่วงหน้าได้ ดังนั้นจึงสงวนไว้สำหรับการจัดอันดับชุดตัวเลือกขนาดเล็กใหม่แทนที่จะสแกนทุกอย่าง
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
เข้าถึงและเข้าถึง
ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
อนาคตของการจัดอันดับการดึงข้อมูลใหม่
การจัดอันดับใหม่เป็นศูนย์กลางในการค้นหาการผลิตและ RAG และชุดเครื่องมือกำลังขยายตัวอย่างรวดเร็ว API การจัดอันดับใหม่ที่โฮสต์ไว้ (เช่น Cohere Rerank) และโมเดลตัวเข้ารหัสข้ามแบบเปิดทำให้ง่ายต่อการติดตั้ง แนวทางที่ใหม่กว่า ได้แก่ การใช้โมเดลภาษาขนาดใหญ่เป็นตัวจัดอันดับใหม่แบบรายการซึ่งให้เหตุผลกับผู้สมัครทั้งหมดที่ตั้งค่าไว้พร้อมกัน โมเดลการโต้ตอบล่าช้า เช่น ColBERT ที่สร้างสมดุลระหว่างความเร็วและความแม่นยำ และเรียนรู้การผสมผสานของรีทรีฟเวอร์หลายตัว เมื่อหน้าต่างบริบทขยายใหญ่ขึ้น คาดว่าจะเชื่อมโยงกันมากขึ้นระหว่างการจัดอันดับใหม่และวิธีเลือกและเรียงลำดับข้อความสำหรับการสร้าง
การใช้งานจริงในโลกแห่งความเป็นจริง
แชทบอท RAG ดึงข้อความ 50 ข้อความด้วยการค้นหาเวกเตอร์ จากนั้นตัวเข้ารหัสข้ามจะจัดอันดับข้อความเหล่านั้นใหม่ เพื่อให้ 5 อันดับแรกที่ป้อนไปยัง LLM มีความเกี่ยวข้องมากที่สุด
การค้นหาไซต์อีคอมเมิร์ซใช้ BM25 ในการเรียกคืน จากนั้นผู้จัดอันดับใหม่จะจัดลำดับผลิตภัณฑ์ใหม่ตามความเกี่ยวข้องของข้อความค้นหาเพื่อเพิ่ม Conversion
การเรียก API การจัดอันดับใหม่ที่โฮสต์ (เช่น Cohere Rerank) เพื่อจัดลำดับการค้นหาใหม่โดยไม่ต้องฝึกโมเดลที่กำหนดเอง
การใช้การโต้ตอบล่าช้าแบบ ColBERT เพื่อจัดอันดับผู้สมัครใหม่ด้วยความแม่นยำของตัวเข้ารหัสแบบเกือบข้ามในเวลาแฝงที่ต่ำกว่า
ความเสี่ยงและรั้ว
ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
แผนงานการดำเนินงาน
กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Retrieval Reranking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
คุณภาพการดึงข้อมูล
คำถามที่พบบ่อย
What is Retrieval Reranking?
การจัดอันดับการสืบค้นข้อมูลใหม่เป็นขั้นตอนที่สองของการค้นหายุคใหม่ หลังจากที่ฟาสต์รีทรีฟเวอร์ดึงชุดผู้สมัคร โมเดลที่ทรงพลังกว่าจะให้คะแนนผู้สมัครเหล่านั้นอีกครั้ง เพื่อให้ผู้ที่เกี่ยวข้องอย่างแท้จริงขึ้นไปอยู่ด้านบน เป็นการเพิ่มคุณภาพเบื้องหลังการค้นหาที่ดีขึ้นและระบบ RAG ที่แม่นยำยิ่งขึ้น
บทบาทของผู้จัดอันดับใหม่ในไปป์ไลน์การดึงข้อมูลคืออะไร?
การจัดอันดับใหม่เป็นขั้นตอนที่สอง โดยจะจัดลำดับผู้สมัครที่สัตว์จำพวกเร็วส่งคืนอย่างระมัดระวัง โดยปรับความแม่นยำที่ด้านบนให้เหมาะสม
Cross-Encoder แตกต่างจาก Bi-Encoder อย่างไร
ตัวเข้ารหัสแบบข้ามเชื่อมโยงการสืบค้นและเอกสารเข้าด้วยกัน และเรียกใช้ร่วมกัน ทำให้เกิดความสนใจแบบข้ามเต็มรูปแบบและมีความแม่นยำสูงขึ้น
เหตุใดตัวเข้ารหัสข้ามจึงใช้สำหรับการจัดอันดับใหม่มากกว่าการดึงข้อมูลขั้นแรก
เนื่องจากการสืบค้นและเอกสารแต่ละรายการต้องได้รับการประมวลผลร่วมกัน คุณจึงไม่สามารถคำนวณเวกเตอร์เอกสารล่วงหน้าได้ ดังนั้นตัวเข้ารหัสข้ามจึงทำงานบนชุดตัวเลือกขนาดเล็กเท่านั้น
โดยทั่วไปแล้ว สุนัขจำพวกรีทรีฟเวอร์ระยะแรกจะปรับให้เหมาะสมเพื่ออะไร?
รีทรีฟเวอร์วางตาข่ายที่กว้างและรวดเร็วเพื่อเพิ่มการเรียกคืนสูงสุด ผู้จัดอันดับใหม่จะเพิ่มความแม่นยำให้กับพูลนั้น
การจัดอันดับใหม่ที่ดีช่วยระบบ RAG ได้อย่างไร
การป้อนข้อความที่เกี่ยวข้องมากที่สุดให้กับ LLM จะช่วยเพิ่มความแม่นยำของคำตอบ และลดเนื้อหาที่หลอนประสาท