Tiếp theoHướng dẫn tiếp theo
Ức chế không tối đa
AI trực quan
HƯỚNG DẪN AI về ngôn ngữ
Mức độ liên quan cận biên tối đa
Mức độ liên quan cận biên tối đa (MMR) là một phương pháp xếp hạng lại nhằm cân bằng mức độ liên quan của một kết quả với mức độ khác biệt của nó so với các kết quả đã được chọn.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It matters because pure relevance ranking often returns near-duplicate passages that waste space in a RAG context window.
Lặn sâu
Khi hệ thống tìm kiếm chấm điểm các tài liệu hoàn toàn dựa trên mức độ liên quan đến một truy vấn, các kết quả hàng đầu thường là dư thừa - năm đoạn văn đều nói cùng một điều. MMR, được Carbonell và Goldstein giới thiệu vào năm 1998, đã khắc phục điều này bằng cách chọn từng kết quả một. Ở mỗi bước, nó sẽ chọn ứng cử viên tối đa hóa sự kết hợp có trọng số: lambda nhân mức độ liên quan của nó với truy vấn, trừ (1 trừ lambda) nhân với độ tương tự tối đa của nó với bất kỳ thứ gì đã được chọn. Lambda gần 1 ủng hộ mức độ liên quan thuần túy; gần 0 nó ủng hộ sự đa dạng. Trong thế hệ tăng cường truy xuất, MMR phổ biến để tìm nạp một tập hợp các khối khác nhau để mô hình ngôn ngữ nhìn thấy bằng chứng bổ sung thay vì lặp lại cùng một thực tế, cải thiện phạm vi bao phủ mà không mở rộng ngữ cảnh.
Triển khai trong thế giới thực
Chatbot RAG sử dụng truy xuất MMR để 5 phần trên cùng của nó bao gồm các khía cạnh khác nhau của chính sách thay vì năm cách diễn giải của cùng một đoạn.
Một công cụ tóm tắt nghiên cứu áp dụng MMR để chọn những đoạn văn giảm thiểu sự trùng lặp, tạo ra một bản tóm tắt rộng hơn, ít lặp lại hơn.
Một công cụ tổng hợp tin tức xếp hạng các bài báo có MMR để hiển thị mức độ đưa tin đa dạng về một sự kiện thay vì mười tờ báo lặp lại một câu chuyện trên mạng.
Công cụ truy xuất cửa hàng vectơ của LangChain hiển thị search_type='mmr' với hàm tìm nạp_k và lambda_mult để đa dạng hóa các tài liệu được trả về.
Tương lai của mức độ liên quan cận biên tối đa
MMR vẫn là một mặc định nhẹ trong các máy khách cơ sở dữ liệu vector như LangChain và Chroma, nơi nó được cung cấp dưới dạng chế độ truy xuất một dòng. Các hệ thống trong tương lai ngày càng kết hợp nó với các mục tiêu đa dạng đã học, lựa chọn dựa trên cụm và bộ sắp xếp lại bộ mã hóa chéo để đánh giá tính mới về mặt ngữ nghĩa hơn là khoảng cách cosine. Khi các cửa sổ ngữ cảnh phát triển, trọng tâm sẽ chuyển từ tiết kiệm không gian sang quản lý bằng chứng thực sự bổ sung, giữ cho việc lựa chọn nhận thức được tính đa dạng như MMR có liên quan ngay cả khi năng lực thô dồi dào.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Maximum Marginal Relevance quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Maximum Marginal Relevance?
Mức độ liên quan cận biên tối đa (MMR) là một phương pháp xếp hạng lại nhằm cân bằng mức độ liên quan của một kết quả với mức độ khác biệt của nó so với các kết quả đã được chọn. Điều này quan trọng vì xếp hạng mức độ liên quan thuần túy thường trả về các đoạn gần như trùng lặp gây lãng phí không gian trong cửa sổ ngữ cảnh RAG.
Vấn đề chính MMR được thiết kế để giải quyết là gì?
MMR giải quyết xu hướng chỉ xếp hạng mức độ liên quan để đưa ra nhiều kết quả về cơ bản giống nhau bằng cách khen thưởng tính mới.
Trong công thức MMR, giá trị lambda gần bằng 1 nhấn mạnh điều gì?
Mức độ liên quan của trọng lượng Lambda; gần 1 thì thuật ngữ liên quan chiếm ưu thế, trong khi gần 0 thì thuật ngữ đa dạng (độ tương tự thấp) chiếm ưu thế.
MMR chọn kết quả của nó như thế nào?
MMR là một phương pháp lặp đi lặp lại: mỗi lựa chọn tối đa hóa mức độ liên quan trừ đi độ tương tự tối đa với các mục đã được chọn.
How can an embedding-based MMR implementation measure query relevance and document redundancy?
The general algorithm permits suitable similarity functions; cosine is a common choice for vector representations.
Tại sao MMR đặc biệt hữu ích trong thế hệ tăng cường truy xuất (RAG)?
Bằng cách đa dạng hóa các khối được truy xuất, MMR giúp mô hình nhìn thấy các bằng chứng khác nhau thay vì lặp lại cùng một sự kiện, cải thiện phạm vi bao phủ.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này