Tiếp theoTiếp theo trong xây dựng với hệ thống AI
Cơ sở dữ liệu vectơ
kỹ thuật
HƯỚNG DẪN AI về ngôn ngữ
Chất lượng truy xuất
Chất lượng truy xuất đo lường xem liệu hệ thống tìm kiếm có trả về bằng chứng hữu ích cho truy vấn hay không và đặt nó ở nơi mà người đọc hoặc mô hình tiếp theo có thể sử dụng.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Mức độ liên quan, mức độ phù hợp, tính cập nhật và ủy quyền đều quan trọng. Chỉ riêng điểm tương đồng cao không chứng tỏ được rằng đoạn văn trả lời được câu hỏi.
Những điểm chính rút ra
- Xác định mức độ liên quan cho câu hỏi đang được trả lời.
- Báo cáo các quy định về giới hạn và ghi nhãn.
- Kiểm tra độ mới, quyền và bằng chứng còn thiếu.
Lặn sâu
Xác định mức độ liên quan với nhiệm vụ dự định trong đầu. Tài liệu về sản phẩm có thể liên quan đến chủ đề nhưng không trả lời được câu hỏi cụ thể về phiên bản hoặc ngày tháng. Dán nhãn các ví dụ về bằng chứng hỗ trợ đầy đủ, bằng chứng một phần và tài liệu không liên quan. Đo lường tập ứng viên và xếp hạng riêng biệt. Việc thu hồi tại điểm cắt đã chọn sẽ hỏi xem có bao nhiêu tài liệu liên quan được lấy ra; độ chính xác hỏi có bao nhiêu tài liệu được truy xuất có liên quan. Các số liệu nhận biết thứ hạng đánh giá liệu bằng chứng tốt nhất có xuất hiện sớm hay không. Nêu rõ phương pháp cắt và ghi nhãn với mỗi điểm. Kiểm tra các kiểu lỗi: số nhận dạng chính xác bị bỏ sót khi tìm kiếm ngữ nghĩa, các từ đồng nghĩa bị bỏ sót khi tìm kiếm từ khóa, các tài liệu lỗi thời được xếp trên các tài liệu hiện tại hoặc các đoạn văn bị cắt khỏi tiêu chuẩn của chúng. Truy xuất kết hợp và sắp xếp lại có thể giúp ích trong một số trường hợp nhưng phải được đánh giá trên cùng các mẫu cố định. Bao gồm các hạn chế truy cập và các truy vấn không thể trả lời trong bộ kiểm tra. Hệ thống không nên cải thiện mức độ liên quan rõ ràng bằng cách trả lại các tài liệu trái phép. Khi không có bằng chứng đầy đủ, hãy đo lường xem ứng dụng có truyền đạt hạn chế đó hay không thay vì đưa ra câu trả lời không được hỗ trợ.
04Ví dụ hoạt động
Tính toán độ chính xác truy xuất và thu hồi
Trong một tuyển tập được xây dựng, có bốn đoạn văn trả lời một câu hỏi. Tìm kiếm sẽ trả về năm đoạn văn, trong đó ba đoạn có liên quan.
Độ chính xác ở mức 5 là 3/5 = 60%; tỷ lệ thu hồi lúc 5 giờ là 3/4 = 75%.
Kiểm tra đoạn văn liên quan bị thiếu và hai kết quả không liên quan trước khi chọn thay đổi điều chỉnh.
Những gì nó cho thấy
Những số đếm được phát minh này thể hiện hai thuộc tính truy xuất khác nhau; không một mình đo lường tính đúng đắn của câu trả lời cuối cùng.
Triển khai trong thế giới thực
Kiểm tra việc truy xuất mã đơn hàng chính xác và câu hỏi hỗ trợ được diễn giải.
Kiểm tra xem các phiên bản chính sách hiện tại có xếp hạng cao hơn các phiên bản đã lưu trữ hay không.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Nguồn tham khảo và đọc thêm
- PineconeTăng mức độ liên quan tìm kiếm
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Retrieval Quality quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Tôi có nên luôn lấy thêm đoạn văn không?
Không. Nhiều đoạn văn hơn có thể cải thiện mức độ bao phủ nhưng cũng thêm bối cảnh không liên quan hoặc xung đột. Đo lường sự cân bằng trong ứng dụng hoàn chỉnh.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này