HƯỚNG DẪN KỸ THUẬT

Truy xuất theo ngữ cảnh

Truy xuất theo ngữ cảnh là một kỹ thuật RAG bổ sung thêm một lời giải thích ngắn gọn, dễ hiểu về tài liệu cho từng đoạn trước khi nó được nhúng và lập chỉ mục để tìm kiếm từ khóa, do đó, một đoạn vẫn có ý nghĩa khi đọc riêng.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của truy xuất theo ngữ cảnh
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Điều này quan trọng vì các phần thường bị mất thông tin quan trọng khi bị tách khỏi tài liệu của chúng, chẳng hạn như công ty, sản phẩm hoặc khoảng thời gian mà chúng đề cập đến và sự mất mát đó khiến người truy tìm bỏ lỡ đoạn phù hợp.

Lặn sâu

RAG tiêu chuẩn chia tài liệu thành các phần, nhúng từng phần và truy xuất các phần giống với câu hỏi nhất. Vấn đề là phân chia dải bối cảnh. Đoạn có nội dung "doanh thu của công ty tăng 3%" không cho biết công ty nào hoặc giai đoạn nào, do đó, cả tìm kiếm ngữ nghĩa và tìm kiếm từ khóa đều không thể khớp nó với câu hỏi đặt tên cho chúng một cách đáng tin cậy. Anthropic đã mô tả khả năng truy xuất theo ngữ cảnh vào tháng 9 năm 2024. Đối với mỗi đoạn, một mô hình ngôn ngữ được cung cấp toàn bộ tài liệu và đoạn, đồng thời được yêu cầu viết một ngữ cảnh ngắn gọn (thường khoảng 50 đến 100 mã thông báo) để đặt đoạn trong tài liệu. Bối cảnh đó được thêm vào đoạn này. Sau đó, văn bản kết hợp được sử dụng trong hai chỉ mục: chỉ mục nhúng (nhúng theo ngữ cảnh) và chỉ mục từ khóa BM25 (BM25 theo ngữ cảnh). Tại thời điểm truy vấn, kết quả từ cả hai được kết hợp và tùy chọn một trình sắp xếp lại sẽ sắp xếp lại các ứng cử viên hàng đầu. Trong các thử nghiệm được báo cáo của Anthropic trên một số tập dữ liệu, các phần nhúng theo ngữ cảnh cộng với BM25 theo ngữ cảnh đã giảm tỷ lệ lỗi truy xuất trong top 20 xuống khoảng 49% so với các phần nhúng tiêu chuẩn và việc thêm tính năng sắp xếp lại đã mang lại mức giảm xuống còn khoảng 67%. Kết quả trên dữ liệu của riêng bạn có thể khác nhau, vì vậy cần phải đo lường. Chi phí tính tại thời điểm lập chỉ mục: một lệnh gọi mô hình cho mỗi đoạn, mỗi lệnh bao gồm toàn bộ tài liệu. Bộ nhớ đệm nhanh chóng giúp việc này rẻ hơn nhiều vì tài liệu được lưu vào bộ nhớ đệm một lần và được sử dụng lại trên tất cả các phần của nó. Những quan niệm sai lầm cần tránh: ngữ cảnh được thêm vào được sử dụng để truy xuất và bạn có thể chọn có hiển thị nó cho trình tạo hay không. Nó không thay thế việc phân đoạn tốt và đối với các cơ sở kiến ​​thức nhỏ phù hợp với cửa sổ ngữ cảnh của mô hình, việc gửi mọi thứ trực tiếp có thể đơn giản hơn bất kỳ quy trình truy xuất nào.

Triển khai trong thế giới thực

Một đoạn trong báo cáo hàng quý chỉ có nội dung "Doanh thu tăng 3% so với quý trước"; truy xuất theo ngữ cảnh phụ thuộc vào dữ liệu xuất phát từ hồ sơ Quý 2 của một công ty cụ thể, do đó, tìm kiếm đặt tên cho công ty và quý đó sẽ tìm thấy nó.

Trong sổ tay nhân viên, một đoạn có nội dung "Điều này áp dụng sau 90 ngày" sẽ có tiền tố giải thích điều đó nằm trong phần về tính đủ điều kiện làm việc từ xa.

Trợ lý tài liệu phần mềm bổ sung ngữ cảnh lưu ý rằng đoạn cấu hình thuộc phiên bản 3 của API, giúp giảm nhầm lẫn với văn bản tương tự từ phiên bản 2.

Cơ sở kiến thức hỗ trợ đặt trước các phần khắc phục sự cố với mẫu sản phẩm mà chúng đề cập, vì vậy, các câu hỏi về một mẫu sẽ ngừng truy xuất các bước cho mẫu khác.

Tương lai của truy xuất theo ngữ cảnh

Truy xuất theo ngữ cảnh phản ánh xu hướng rộng hơn là dành nhiều tính toán hơn vào thời điểm lập chỉ mục để làm cho thời gian truy vấn đáng tin cậy hơn. Khi các lệnh gọi mô hình ngày càng rẻ hơn và bộ nhớ đệm trở thành tiêu chuẩn, việc thêm ngữ cảnh vào các khối có thể sẽ trở thành một bước mặc định trong nhiều quy trình RAG. Cửa sổ ngữ cảnh dài hơn giúp giảm nhu cầu truy xuất trong các bộ sưu tập nhỏ chứ không phải trong các bộ sưu tập lớn, vì vậy các kỹ thuật như thế này sẽ phù hợp với các cơ sở kiến ​​thức lớn. Mong đợi nhiều sự kết hợp hơn với tính năng lọc siêu dữ liệu, biểu đồ tri thức và truy xuất tương tác muộn, với các nhóm lựa chọn dựa trên khả năng thu hồi được đo lường thay vì thời trang.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Contextual Retrieval quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Truy xuất theo ngữ cảnh là gì?

Truy xuất theo ngữ cảnh là một kỹ thuật RAG bổ sung thêm một lời giải thích ngắn gọn, dễ hiểu về tài liệu cho từng đoạn trước khi nó được nhúng và lập chỉ mục để tìm kiếm từ khóa, do đó, một đoạn vẫn có ý nghĩa khi đọc riêng. Điều này quan trọng vì các phần thường bị mất thông tin quan trọng khi bị tách khỏi tài liệu của chúng, chẳng hạn như công ty, sản phẩm hoặc khoảng thời gian mà chúng đề cập đến và sự mất mát đó khiến người truy tìm bỏ lỡ đoạn phù hợp.

Truy xuất theo ngữ cảnh giải quyết được vấn đề gì?

Việc tách sẽ loại bỏ bối cảnh xung quanh, do đó, một đoạn riêng biệt có thể không đề cập đến thực thể hoặc giai đoạn mà câu hỏi hỏi đến.

Bối cảnh cho từng đoạn được tạo ra như thế nào?

Mô hình được cung cấp toàn bộ tài liệu và đoạn và trả về một bối cảnh ngắn gọn đặt đoạn đó trong tài liệu.

Hai chỉ mục nào nhận được văn bản đoạn được ngữ cảnh hóa theo cách tiếp cận của Anthropic?

Phương pháp này sử dụng các phần nhúng theo ngữ cảnh và BM25 theo ngữ cảnh, sau đó kết hợp các kết quả của chúng.

Theo các thử nghiệm được báo cáo của Anthropic, việc nhúng theo ngữ cảnh cộng với BM25 theo ngữ cảnh đã làm giảm khoảng 20 lỗi truy xuất hàng đầu đến mức nào?

Anthropic báo cáo mức giảm 49%, tăng lên khoảng 67% khi xếp hạng lại. Kết quả trên dữ liệu khác có thể khác nhau.

Tại sao bộ nhớ đệm nhanh chóng giúp việc truy xuất theo ngữ cảnh rẻ hơn?

Cuộc gọi của mỗi đoạn bao gồm tài liệu đầy đủ; bộ nhớ đệm có tiền tố được chia sẻ sẽ tránh phải trả giá đầy đủ nhiều lần.

Tiếp tục học hỏi

Hướng dẫn liên quan

Đã chọn thêm hướng dẫn cho chủ đề này

Nhận chứng chỉ AI miễn phíMột khóa học và kỳ thi ngắn miễn phí. Không tốn phí, không cần thẻ. Khoảng 2,5 giờ.Bắt đầu miễn phí →