Truy xuất Sắp xếp lại
Xếp hạng lại truy xuất là giai đoạn thứ hai của tìm kiếm hiện đại: sau khi công cụ truy xuất nhanh lấy ra một tập ứng cử viên, một mô hình mạnh hơn sẽ chấm điểm lại các ứng cử viên đó để những ứng cử viên thực sự phù hợp sẽ vươn lên dẫn đầu.
Tổng quan
It is the quality boost behind better search and more accurate RAG systems.
Lặn sâu
Việc tạo tăng cường tìm kiếm và truy xuất thường chạy theo hai giai đoạn. Đầu tiên, một công cụ truy xuất nhanh (BM25 dựa trên từ khóa hoặc tìm kiếm vectơ dày đặc) sẽ nắm bắt được một nhóm ứng viên rộng rãi—chẳng hạn như top 100—tối ưu hóa cho khả năng thu hồi và tốc độ. Sau đó, người xếp hạng lại sẽ kiểm tra các ứng viên đó một cách cẩn thận hơn và sắp xếp lại chúng theo mức độ liên quan, tối ưu hóa độ chính xác ở trên cùng. Trình sắp xếp lại cổ điển là một trình mã hóa chéo: nó cung cấp truy vấn và từng tài liệu ứng cử viên vào một biến áp để sự chú ý có thể so sánh chúng từng từ, tạo ra một điểm liên quan duy nhất. Điều này chính xác hơn nhiều so với các phần nhúng độc lập của chó săn nhưng quá chậm để chạy trên toàn bộ kho văn bản—do đó có thiết kế hai giai đoạn. Trong RAG, việc sắp xếp lại tốt có nghĩa là mô hình nhìn thấy những đoạn văn phù hợp nhất, giảm ảo giác và cải thiện chất lượng câu trả lời.
Hiểu biết kỹ thuật
Sự khác biệt chính là bộ mã hóa hai chiều và bộ mã hóa chéo. Bộ mã hóa kép nhúng truy vấn và tài liệu riêng biệt, do đó vectơ có thể được tính toán trước và so sánh với các sản phẩm dấu chấm nhanh—rất phù hợp cho việc truy xuất ở giai đoạn đầu. Bộ mã hóa chéo ghép nối truy vấn và tài liệu rồi chạy chúng cùng nhau thông qua máy biến áp, cho phép sự chú ý chéo đầy đủ đánh giá mức độ liên quan. Bộ mã hóa chéo chính xác hơn nhiều nhưng không thể tính toán trước vectơ tài liệu, vì vậy chúng được dành riêng để sắp xếp lại một tập hợp ứng cử viên nhỏ thay vì quét mọi thứ.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc sắp xếp lại việc truy xuất
Xếp hạng lại là trọng tâm của tìm kiếm sản xuất và RAG, đồng thời bộ công cụ này đang mở rộng nhanh chóng. Các API sắp xếp lại được lưu trữ (chẳng hạn như Cohere Rerank) và các mô hình mã hóa chéo mở đã giúp bạn dễ dàng thực hiện. Các hướng mới hơn bao gồm việc sử dụng chính các mô hình ngôn ngữ lớn làm công cụ sắp xếp lại theo danh sách để suy luận về toàn bộ nhóm ứng cử viên cùng một lúc, các mô hình tương tác muộn như ColBERT giúp cân bằng tốc độ và độ chính xác cũng như sự kết hợp đã học của nhiều công cụ truy xuất. Khi cửa sổ ngữ cảnh mở rộng, hãy mong đợi sự kết hợp chặt chẽ hơn giữa việc sắp xếp lại và cách chọn và sắp xếp các đoạn văn để tạo.
Triển khai trong thế giới thực
Một chatbot RAG truy xuất 50 đoạn bằng tìm kiếm vectơ, sau đó một bộ mã hóa chéo sắp xếp lại chúng để 5 đoạn văn hàng đầu được cung cấp cho LLM là phù hợp nhất
Tìm kiếm trên trang web thương mại điện tử sử dụng BM25 để thu hồi, sau đó trình xếp hạng lại sẽ sắp xếp lại các sản phẩm theo mức độ liên quan của truy vấn để tăng chuyển đổi
Gọi API sắp xếp lại được lưu trữ (ví dụ: Cohere Rerank) để sắp xếp lại các lần truy cập tìm kiếm mà không cần đào tạo mô hình tùy chỉnh
Sử dụng tương tác muộn kiểu ColBERT để sắp xếp lại các ứng viên với độ chính xác gần như đa mã hóa ở độ trễ thấp hơn
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Retrieval Reranking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chất lượng truy xuất
Câu hỏi thường gặp
What is Retrieval Reranking?
Xếp hạng lại truy xuất là giai đoạn thứ hai của tìm kiếm hiện đại: sau khi công cụ truy xuất nhanh lấy ra một tập ứng cử viên, một mô hình mạnh hơn sẽ chấm điểm lại các ứng cử viên đó để những ứng cử viên thực sự phù hợp sẽ vươn lên dẫn đầu. Đó là sự nâng cao chất lượng đằng sau việc tìm kiếm tốt hơn và hệ thống RAG chính xác hơn.
Vai trò của trình sắp xếp lại trong quy trình truy xuất là gì?
Xếp hạng lại là giai đoạn thứ hai: nó cẩn thận sắp xếp lại các ứng viên mà người truy tìm nhanh đã trả về, tối ưu hóa độ chính xác ở trên cùng.
Điều gì phân biệt bộ mã hóa chéo với bộ mã hóa hai chiều?
Bộ mã hóa chéo ghép nối truy vấn và tài liệu rồi chạy chúng cùng nhau, cho phép sự chú ý chéo đầy đủ và độ chính xác cao hơn.
Tại sao các bộ mã hóa chéo được sử dụng để sắp xếp lại thay vì truy xuất ở giai đoạn đầu?
Vì truy vấn và mỗi tài liệu phải được xử lý cùng nhau nên bạn không thể tính toán trước vectơ tài liệu, do đó, bộ mã hóa chéo chỉ chạy trên một tập ứng cử viên nhỏ.
Chó tha mồi giai đoạn đầu thường tối ưu hóa để làm gì?
Chó săn quăng lưới rộng và nhanh để tối đa hóa khả năng thu hồi; người xếp hạng lại sau đó sẽ nâng cao độ chính xác trên nhóm đó.
Việc sắp xếp lại tốt giúp hệ thống RAG như thế nào?
Cung cấp cho LLM những đoạn phù hợp nhất sẽ cải thiện độ chính xác của câu trả lời và cắt giảm nội dung gây ảo giác.